爬虫生存周期的延长方法

网络爬虫生存周期是短暂的，因为每时面临着访问虫的控制。不可能让爬虫一直运行，却可以让爬虫运行的时间尽可能长一点。那么面对访问虫，如何让网络爬虫的生存周期延长呢？

用户代理（User-Agent）用户代理是用户访问目标服务器的工具，并传达给服务器用户正在使用哪个网络浏览器访问，如果没有设置用户代理，服务器不会让你查看内容，不同的浏览器User-Agent也各不相同，合适好的办法就是搜集很多User-Agent，

然后爬虫随机使用，不要一个UA用到底，也不要有规律的使用。

代理IP（Proxy）大多数的网站都会设置一个阈值，当某个IP访问的次数到达了阈值便会受到允许访问公开数据。还有很多网站会设置一个访问频率，当单位时间内访问频率超出正常用户访问频率时就会被允许访问公开数据，这个时候只有代理IP才能防止这个允许访问公开数据，

大量的优质代理IP不停地分担压力，就算无法访问公开数据了也可以再换一批，运用IP会起到效果比如IPIDEA。

请求头（Request Headers）很多网站的访问虫比较严格，某个细节可能就会被发现。当你访问页面的时候他们会查找特定的请求响应头信息，如果特定的头信息没有被发现，他们会防止账号关联内容显示或者展示一个内容。这个问题其实也很好解决，

用浏览器访问网页，然后按住F12可以看到相信的请求头信息，然后模拟即可。