爬虫被允许采集公开数据了该怎么办？

网络爬虫抓取信息的过程中，如果抓取频率过高或者使用了多线程，很容易被判断IP属性，无法高效采集公开数据访问。通常，网站的访问虫机制都是依据IP和用户的User-Agent来标识爬虫的。于是在爬虫的开发者可以通过以下方式来解决这个问题：

1、放慢抓取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的抓取量。

2、第二种方法是通过设置ip代理等手段高频率抓取。但是这样需要大量稳定的ip转换器。下面介绍两种方式：普通的基于ADSL拨号的解决办法通常，在抓取过程中遇到判断IP属性，无法高效采集公开数据访问，可以重新进行ADSL拨号，获取新的IP，

从而可以继续抓取。

但是这样在多网站多线程抓取的时候，如果某一个网站的抓取被判断IP属性，无法高效采集公开数据了，同时也影响到了其他网站的抓取，整体来说也会降低抓取速度。一种可能的解决办法同样也是基于ADSL拨号，不同的是，需要两台能够进行ADSL拨号的服务器，

抓取过程中使用这两台服务器作为代理。假设有A、B两台可以进行ADSL拨号的服务器。爬虫程序在C服务器上运行，使用A作为代理访问全球网站公开数据，如果在抓取过程中遇到判断IP属性，无法高效采集公开数据访问的情况，立即将代理切换为B，然后将A进行重新拨号。

如果再遇到判断IP属性，无法高效采集公开数据访问就切换为A做代理，B再拨号，如此反复。使用http这种方法便捷而且IP资源的质量也比较好，比如IPIDEA覆盖全球240+地区ip，并稳定，能够满足大量的需求，安全性也可以得到保障。