什么是网络爬行？

网络抓取是指你获取任何在线公开可用数据，并将找到的信息导入计算机上的任何本地文件。这里与数据抓取的主要区别在于，网络抓取需要进行互联网。

这些定义也适用于爬行。如果它里面有“网络”这个词，它则涉及到互联网。如果它由单词数据组成，它则不一定需要在爬取动作中包括互联网。

网络爬行（或数据爬取）用于数据提取，是指从万维网或数据爬取案例中收集数据：任何文档、文件等。传统意义上，它是大量完成的，但不限于小的工作量。因此，通常使用爬虫代理来完成。爬虫是“连接网页并下载其内容的程序”。

网络爬行不可少的则是代理服务器，代理服务器位于您的设备和互联网之间。因此，在使用代理时，将无法直接访问Internet，但你的Web请求将首先通过代理路由，然后再发送到Web服务器。使用快捷的同时也提高了工作效率。

爬虫程序只是上网寻找两件事：

1.用户正在搜索的数据

2.更多要抓取的目标

所以如果我们试图爬取一个真实的网站，这个过程会是这样的：

1.爬虫会到达您预定义的目标

2.发现产品页面

3.找到产品数据（标题、价格、描述等）

然后将下载爬虫找到的产品数据——这部分成为网络或数据的抓取。