青岛站长网

大部分网站对网络爬虫都有限制，限制方式有两种：一、Robots协议；二、网站通过判断对网站访问http的头部信息来查看是否是爬虫，并对爬虫做相关拦截第一种限制是书面限制，第二种是强制性阻拦限制。那我们如何去突破第二种限制呢？首先我们要爬取一个网站大部