网络爬虫有哪些类型

网络爬虫可以代替人们自动的在互联网中进行数据信息的采集与整理。在大数据时代，数据复杂度及采集数据效率是非常重要的。所以可以使用网络爬虫对数据信息进行自动采集并整合。代理ip对爬虫相当重要，做爬虫的过程中，一开始爬虫正常运行，正常抓取数据，但是过了一会可能就报错。这个时候就需要用到代理ip了。那么，网络爬虫有哪些类型呢？下面ipidea小编给大家介绍一下网络爬虫的类型。

通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子URL扩充到整个Web，主要为门户站点搜索引擎和大型Web服务提供商采集数据。

聚焦网络爬虫

聚焦网络爬虫（Focused Crawler），又称主题网络爬虫（Topical Crawler），是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫[8]。和通用网络爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，极大地节省了硬件和网络资源，保存的页面也由于数量少而更新快，还可以很好地满足一些特定人群对特定领域信息的需求。

增量式网络爬虫

增量式网络爬虫（Incremental Web Crawler）是指对已下载网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫，它能够在一定程度上保证所爬行的页面是尽可能新的页面。和周期性爬行和高效管理新页面的网络爬虫相比，增量式爬虫只会在需要的时候爬行新产生或发生更新的页面，并不重新下载没有发生变化的页面，可有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加了爬行算法的复杂度和实现难度。

深层网络爬虫

Web页面按存在方式可以分为表层网页（Surface Web）和深层网页（Deep Web，也称Invisible Web Pages或Hidden Web）。表层网页是指传统搜索引擎可以索引的页面，以超链接可以到达的静态网页为主构成的Web页面。Deep Web是那些大部分内容不能通过静态链接获取的、保护安全访问在搜索表单后的，只有用户提交一些关键词才能获得的Web页面。