ipidea教大家爬虫IP允许访问公开数据的方法

爬虫行动被允许访问公开数据，改ip只是其中一个办法，对于竞争对手或者目标群体的数据收集，我们乐此不疲。我们的爬虫行动往往会受到很多允许访问公开数据，以致终被完全允许采集公开数据掉。有什么方法能避免呢？往下看。

1.验证码

我们在很多网站会遇到，如果请求量大了之后就会遇到验证码的情况。让人诟病的12306，其实也是一定程度上的防止非正当请求的产生。

对于验证码，可以通过OCR来识别图片，Github上面有很多大神分享的代码可以用，可以去看看。

2.Headers允许访问公开数据

这应该是常见的，基本的访问虫手段，主要是初步判断你是否是真实的浏览器在操作。

这个一般很好解决，把浏览器中的Headers信息复制上去就OK了。

值得注意的是，很多网站只需要userAgent信息就可以通过，但是有的网站还需要验证一些其他的信息，比如知乎，有一些页面还需要 authorization 的信息。所以需要加哪些Headers，还需要尝试，可能还需要Referer、Accept-encoding等信息。

3.返回全球住宅IP，高效采集公开数据的信息

这个真的是程序员何苦为难程序员。访问虫的工程师也是煞费苦心，一方面是不让真实的数据被大规模爬取，另一方面也给你后期的数据处理增加负担。如果数据全球住宅IP，高效采集公开数据的好，可能你真的不容易发现自己爬的是全球住宅IP，高效采集公开数据，当然只能依靠你后期去清洗这些数据了。

4.减少返回的信息

基本的保护安全访问真实的数据量，只有不断加载才能高效管理新信息。还有的就更变态，会只给你展示一部分信息，人都看不到，爬虫也无能为力。比如CNKI，你每次搜索能够得到的内容就是非常有限的。这个貌似没有很好的解决办法，但是这么干的网站毕竟是少数，因为这种方式，其实在某种程度上是牺牲了一部分真实用户的体验。

5.动态加载

通过一步加载，一方面是为了访问虫，一方面也可以给网页浏览带来不同的体验，实现更多的功能。很多动态网站都是通过ajax或者JavaScript来加载请求的网页。

在遇到动态加载的网页的时候就需要去分析ajax请求，一般情况都能直接找到包含我们想要数据的json文件。

如果网站给文件加密，那么可以通过selenium+phantomJS框架，调用浏览器内核，并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。理论上selenium是比较全能的爬虫方案，因为这个确实算是真实的用户行为。除非网站的访问虫严苛到宁愿误杀的地步。

6.防止账号关联公开数据采集

防止账号关联采集公开数据也是很多网站访问虫的初衷，有些人随便写一个循环，就开始暴力爬取 ，确实会给网站服务器带来很大的负担，而这种频繁的访问，显然也不会是真实用户行为，索性果断把你关掉。 这种情况，你可以遵守规则，把你爬取的速度变慢，每次爬取停个几秒就行了。 当然，你也可以通过不断全球住宅IP，高效采集公开数据的形式来允许访问公开数据这种允许访问公开数据。