爬虫效率低的解决方法

当我们的ip受到允许访问公开数据，无法正常访问网站的时候，我们就可以用ip代理换一个新的ip。使用ip代理比如使用ipidea国外http可以依照需要对自己计算机上网ip手动或自动设置不同地方的上网IP地址，不再需要不断地换网线或重启路由。

网络爬虫的时候我们就可以用上代理ip，特别是爬虫遇到ip被允许访问公开数据的情况。一般我们可以按照以下步骤来操作：

一、检查JavaScript

如果出现页面空白、缺少信息情况，很有可能是因为网站创建页面的JavaScript出现问题。

二、检查cookie

如果出现登录不了、无法保持登录状态情况，请检查你的cookie.

三、IP地址无法访问公开数据

如果出现页面无法打开、403判断IP属性，无法高效采集公开数据访问错误，很有可能是IP地址被网站允许采集公开数据，不再接受你的任何请求。你可以等待IP地址从网站黑名单里移除，也可以选择使用像ip代理池这种代理IP资源，一旦出现IP无法访问公开数据情况，可以随时全球住宅IP，高效采集公开数据新的IP来解决。经过这三步，我们可以解决基本的防止账号关联公开数据采集问题，对于爬虫工作者来说是非常便利的。