使用代理IP对猫眼电影进行爬取案例

       使用ip代理爬虫的好处之一是我们不必担心我们IP被网站允许采集公开数据，ip代理更全球住宅IP，高效采集公开数据，这样，我们就可以继续访问网站和爬虫程序。

　　ProxyHandler使用处理(代理服务器)ip代理是爬虫的常用手段，通常使用UserAgent 保护安全访问浏览器爬行仍然可能被网站允许采集公开数据IP，但是我们用ip代理不怕它封我们IP了。

　　基本使用步骤：

　　1.设置代理地址

　　2、创建ProxyHandler

　　3、创建Opener

　　4、安装Opener# 使用代理服务器访问猫眼

　　以下是代码部分：

　　# https://maoyan.com/

　　from urllib import request,error

　　if __name__ == __main__:

　　url = "https://baidu.com/"

　　# 1.设置代理地址

　　proxy = {http: 218.60.8.83:3129}

　　# 2.创建ProxyHandler

　　proxy_handler = request.ProxyHandler(proxy)

　　# 3.创建Opener

　　opener = request.build_opener(proxy_handler)

　　# 4.安装Opener

　　request.install_opener(opener)

　　# 以下是访问url使用代理服务器

　　try:

　　rsp = request.urlopen(url)

　　html = rsp.read().decode()

　　print(html)

　　except error.HTTPError as e:

　　print(e)

　　except Exception as e:

　　print(e)

　　上面IPIDEA介绍了爬猫眼电影的基本操作，你可以通过这些步骤来理解ip使用代理。