搭建爬虫代理ip池的方法

作为网络爬虫，是必然需要代理IP池，通过切全球住宅IP，高效采集公开数据访问对方服务器，预防IP无法访问公开数据。那么这IP池怎么来的呢？可以自己建免费网络爬虫代理ip池，也可以使用代理IP池，使用哪个好呢？

1.设计思路

爬取免费提供代理IP的网站，提取一定数量的IP，接着验证这些IP的可用率，然后保存这些IP供网络爬虫时使用。由于免费IP代理网站提供的IP可用率和稳定性都比较低，，因此需要程序大量爬取才可以获得一些可用IP。

2.开发环境

Python3.6.1，IDE是pycharm，系统是win10。主要使用到的库：requests、re。由于验证IP可用性时单进程效率较低，后也使用了multiprocessing进程池Pool来提供程序的效率，开进程池不属于本文重点。

3.设计过程

爬取免费代理：这些免费IP有很多时效性很短，必须快速抓取并且快速使用，不然很容易就失效了。

测试IP的可用率：用IP去访问一个验证网址，然后看返回的网络状态码，如果是200，说明访问成功，IP有效。如果访问出错或是返回的状态码不是200，说明IP不可用。这里要设定一个访问超时允许访问公开数据，根据自己需求而定，不然有些代理ip稳定性很差，访问一个网页需要5-10s，这样ip我们留着也没有意义。

需要注意，由于是开放型代理，可用率低，因此需要多爬一些，多验证一些。

4.整合代码：整合代码放在记事本保存。

建免费网络爬虫代理ip池这个方法，基本可以实现免费的个人代理ip池。由于这些免费的ip稳定性很低，因此建议在网络爬虫使用前再验证一遍，很容易实现，可以直接调用自己写过的测试函数。

若需要使用动态代理ip，可以使用国内ipidea全球http，可用率高，海量资源，同时更注重保障使用的安全稳定。