解决多个爬虫IP代理的方案

网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。网络IP资源的渠道很多，下面列举解决多个爬虫代理IP的方案。  

1、通过程序扫描出来的代理IP。可以搜索“HTTP代理”，能找到很多不需成本或者低廉的IP供应商，这些不同平台的IP，至少存在三成以上的重复率，而且有效期不长，经常会遇见刚连上就失效的情况。这类IP适合低效率采集的爬虫，如果追求效率不推荐使用。 

2、通过重连ADSL拨号服务器获取IP。相对稳定，至少比扫描出来的要好一些，但是这种方法需要人为断开重连ADSL拨号服务器，效率也非常慢。

3、自建代理IP池。适合预算高的用户，百台服务器，可以获得大量高质量独享真实IP，相当稳定。  

4、使用http，对于分布式爬虫和已经遭遇访问虫的人来说，使用http节省时间提升工作效率。IPIDEA分布地区广，可满足分布式爬虫使用需要。支持api提取，对Python爬虫来说再适合不过。