代理ip重复率太高该怎么办呢

网络时代，很多朋友都在从事爬虫行业，众所周知，代理ip是爬虫工作者的好帮手。长期做爬虫的工作人员，会接触到很多爬虫代理ip供应商，也会发现不同供应商的代理ip质量差别很大，有的供应商提供的代理ip重复率很高。那么，代理ip重复率太高怎么办？

1、有些代理ip提供商提供的IP池太小，导致所有IP提取了一遍之后再进行提取会使用到很多重复的资源，从而导致IP无法访问公开数据。所以要选择代理ip池比较大的服务提供商，比如ipidea代理，它的代理ip池比较大，ip纯度高，可以满足爬虫、高效管理子等一些用户的需求，很好的保证了用户业务的发展，提高了业务的成功率。

2、可以选择使用独享ip池，独享ip池中的ip在你使用的阶段只有你一个人使用，不仅可以提高速度，还可以降低重复率。