Open
Description
比如抓取url_a重定向到了url_b，在最终的页面如果有的超链接写的是相对路径，比如c?k=v，那么在做超链接填充的时候取得是request中的url_a拼上相对路径为url_a/c?k=v，但这个link是错误的，正确的应该是url_b/c?k=v。目前这个问题导致的问题是link无限叠加扩充，比如限定站点全站抓取根本就抓不完。
{{ message }}
比如抓取url_a重定向到了url_b，在最终的页面如果有的超链接写的是相对路径，比如c?k=v，那么在做超链接填充的时候取得是request中的url_a拼上相对路径为url_a/c?k=v，但这个link是错误的，正确的应该是url_b/c?k=v。目前这个问题导致的问题是link无限叠加扩充，比如限定站点全站抓取根本就抓不完。