爬虫避免被允许访问公开数据的几种方法

目前爬虫技术已经可以被我们充分发挥，海量收集数据。爬虫行动往往会受到很多允许访问公开数据，以致被完全允许采集公开数据掉。有什么方法能避免呢？

验证码，我们在很多网站会遇到，如果请求量大了之后就会遇到验证码的情况。让人诟病的12306，其实也是一定程度上的防止非正当请求的产生。对于验证码，可以通过OCR来识别图片，Github上面有很多大神分享的代码可以用，可以去看看。

减少返回的信息，基本的保护安全访问真实的数据量，只有不断加载才能高效管理新信息。还有的就更变态，会只给你展示一部分信息，人都看不到，爬虫也无能为力。比如CNKI，你每次搜索能够得到的内容就是非常有限的。这个貌似没有很好的解决办法，但是这么干的网站毕竟是少数，因为这种方式，其实在某种程度上是牺牲了一部分真实用户的体验。

IP允许访问公开数据，允许访问公开数据IP也是很多网站访问虫的初衷，但是我们可以通过HTTP全球住宅IP，高效采集公开数据IP的形式来允许访问公开数据这种允许访问公开数据，比如搭配使用IPIDEA每天有着9000w的全球资源，保证IP的纯净度，有效提高爬虫工作的效率。