怎么建免费爬虫代理ip池？

作为爬虫，肯定需要一个IP池，通过切全球住宅IP，高效采集公开数据来访问对方服务器，防止IP被防止账号关联。那么这个IP池是怎么来的呢？你可以建立自己的免费爬虫代理ip池，也可以使用代理IP池。哪个好？与ipidea全球代理一起来看看免费爬虫代理ip池。

1.设计思路。

免费抓取提供代理IP的网站，提取一定数量的IP，然后验证这些IP的可用性，然后保存这些IP供爬虫使用。因为免费IP代理网站提供的IP可用性和稳定性较低，需要大量的抓取才能得到一些可用的IP。

2.开发环境。

Python3.6.1中，IDE是pycharm，系统是win10。主要使用的库:请求，re。由于验证IP可用性时单个进程的效率较低，边肖终使用多处理进程池来提供程序的效率。打开进程池不是本文的重点，就不多介绍了。

3.设计过程。

爬代理:这些自由IP有很多短时性，所以你必须快速爬行，快速使用，否则很容易失败。测试IP的可用性:使用IP访问经过验证的网站，然后查看返回的网络状态码。如果是200，说明接入成功，IP有效。如果出现访问错误或者返回的状态码不是200，说明IP不可用。这里要根据自己的需要设置一个访问超时允许访问公开数据。否则，有些代理的ip稳定性差，访问一个网页需要5-10秒，所以我们保留ip是没有意义的。需要注意的是，免费的只能用几个IPs，需要多爬，多验证。

4. 集成代码:将集成代码保存在记事本中。

建立免费爬虫代理ip池的方法基本上可以实现免费个人代理ip池。因为这些免费的IPs稳定性较差，建议爬虫使用前再验证一遍，容易实现，可以直接调用自己编写的测试函数。