网站采集神器:采集不了列表页链接解决方法_百业营销网

网站采集神器:采集不了列表页链接解决方法

网站模板开发 115℃ 0

网站采集神器:采集不了列表页链接解决方法

添加header请求头:

1、如果你发现要采集的网站用浏览器打开是正常显示内容的,采集的规则也没有问题,但是就是采集不了列表页的链接,那么可能就是因为缺少某些“请求头”,常见的比如:“host”,“referer”,“cookie”,“user-agent”,具体添加方法如下:

image.png

image.png

2、可以先添加这2个请求头,如果还不行如果还不行的话,就把上面所说的4个常见的请求头全部添加上吧!


标签: 网站采集神器