为什么要使用代理池？

如果我们只使用我们自己的IP地址来抓取网站，或者只使用一个代理来抓取网站，这将降低您的抓取可靠性、地理定位选项以及您可以发出的并发请求数量。此时可以构建代理池，将流量分配到大量代理上。

代理池的大小取决于许多因素，如下：

1、您每小时将提出的请求数。

2、目标网站-具有更复杂反机器人对策的大型网站将需要更大的代理池。

3、您用作代理的IP类型-数据中心、住宅或移动IP。

4、您用作代理的IP的质量-它们是共享代理还是私有专用代理？它们是数据中心、住宅还IP？（数据中心IP通常比住宅IP质量低，但由于网络的性质，通常比住宅IP更稳定）。

5、代理管理系统的复杂性-代理轮换、节流、会话管理等。

这五个因素都会对代理池的有效性产生重大影响。如果您没有为您的特定网络抓取项目正确配置代理池，您通常会发现您的代理被防止账号关联并且您无法再访问全球网站公开数据。