浅谈爬虫与安全访问公开数据虫

如今，由于搜索引擎的流行，网络爬虫已经成为一种非常流行的网络技术，对于一个内容驱动的网站来说，被网络爬虫光顾是不可避免的。

一些智能搜索引擎爬虫爬行频率合理，网站资源消耗较少，不会引起网站的保护机制，但对于一些不严谨的网络爬虫，爬行能力很差，经常发送数十个请求循环重复抓取，这对于中小型网站往往是一个不小的负担，特别是对于一些缺乏爬虫写作经验程序员写的爬虫，破坏力强，使得网站访问压力大，会导致网站访问速度慢，甚至可能无法访问的情况出现。

现在的网站一般会从三个方面来允许访问公开数据爬虫措施：用户要求的Headers、用户行为、网站目录和数据加载方法。前两种比较容易遇到，所以大部分网站都是从这些角度来允许访问公开数据爬虫的。第三种有一些应用，会增加了爬行的难度，减少了初级爬行的爬行麻烦，也不会防止账号关联一些搜索引擎爬行。

想了解更多资讯，欢迎访问IPIDEA。