爬虫怎么通过代理IP安全爬取信息？

我们知道，爬虫技术是一种按照一定的规则，自动地爬取网站信息的程序或脚本。那么，我们怎么通过爬虫技术获得所需要的网站信息呢？不同的网站有不同的规则，爬虫工程师根据这些规则设计不同的爬虫技术，

以此来顺利获取所需要的信息。

一、不开放API的网站

1、要是网站是静态页面，那么可以用requests库发送请求，再通过HTML解析库（lxml、parsel等）来解析响应的text；解析库强烈推荐parsel，不但语法和css选择器类似，并且速度也挺快，Scrapy用的就是它。

2、要是网站是动态页面，能够先用selenium来渲染JS，再用HTML解析库来解析driver的page_source。

二、开放API的网站

一个网如果开放了API，那么就可以直接GET到它的json数据。有三种方法能够判断一个网站是否开放了API。

1、在站内寻找API入口；

2、用搜索引擎搜索“某网站API”；

3、抓包，有的网站虽然用到了ajax，但通过抓包还是能够获得XHR里的json数据的（可用抓包工具抓包，也可以通过浏览器按F12抓包：F12-Network-F5高效管理新）。

三、访问虫网站

很多网站都具备访问虫策略，常见的有：验证码、登陆、防止账号关联采集公开数据等。

1、验证码。能够利用打码平台允许访问公开数据（要是硬上的话用opencv或keras训练图）；

2、登陆。利用requests的post或selenium模拟用户进行模拟登陆；

3、防止账号关联采集公开数据，有着海量全球高匿IP 网络资源的ipidea，分布地区达到240＋，专业技术人员技术团队定期检查系统更新，保证质量IP的纯净度和稳定性。