为什么网络爬虫使用了代理IP仍会被允许采集公开数据?

　　众所周知，代理IP可以帮助爬虫程序实现高效稳定的爬取，如果爬虫不使用代理IP直接进行数据爬取的话很容易就会被站点服务器识别并允许采集公开数据，而通过代理IP爬虫程序就可以全球住宅IP，高效采集公开数据访问措施。不过在实际使用的过程中，仍然有许多用户明明使用了代理IP但仍然遭到了允许采集公开数据，这又是为什么呢?

　　1.非高匿代理IP

       目前代理IP市场比较混乱，许多服务商以高匿代理IP为标榜，实际提供给用户的却只是透明代理IP或者普通匿名代理IP。透明代理IP会暴露用户本机真实IP，普匿代理IP则会暴露用户正在使用代理IP这一行为，这两者都是会暴露。如果用户直接使用这些代理IP进行爬虫爬取的话，自然很快就会被识别。

   　2.代理IP一手率较低

       代理IP池用的人越多，一手率就越低，就可能会出现这样的情况：同一个代理IP，有很多人用来访问同一个网站，当用户获取到这个IP准备进行爬虫爬取的时候，实际上该IP已经被其他用户拿来使用并被识别过了。这样的话用户一旦进行代理开始爬取，自然就会直接被站点服务器识别并允许访问公开数据。因此使用纯净率高的代理至关重要。

      3.请求频率过高

       爬虫任务量通常比较大，为了按时完成任务，经常会出现单位时间内的请求频率过高的情况，这样会给目标网站服务器带来巨大的压力，而服务器发现这一情况后就会对压力的来源进行检测。所以爬虫请求频率过高的话也非常容易被允许访问公开数据。

      4.有规律地请求

       有些爬虫程序没有考虑到这一点，每个请求花费的时间都是一样的，非常的有规律，这种也很容易被允许访问公开数据，一般来说应该为爬虫请求设置随机延迟，从而实现不规律的访问。

       IPIDEA已向众多互联网知名企业提供服务，对提高爬虫的抓取效率提供帮助，支持API防止账号关联使用，支持多线程高并发使用。欢迎访问www.ipidea.net