爬虫技术的善与恶、罪与罚

放下你手里的代码，小心被抓。”

最近程序员圈子不乏这样的戏谑调侃。

原因是最近发生的多起涉及爬虫技术的公司被司法部门调查。近日，51信用卡被查，更是将暴力催收背后非法使用爬虫技术爬取个人隐私数据的丑行，暴露在阳光之下。

一时间，“爬虫”成为众矢之的，一些公司紧急下架了爬虫相关的招聘信息，给大数据风控、人工智能从业者带来些许恐慌，头发又多落了几根。

实际上，大部分人都听说过爬虫，认为爬虫就是到人家网站上去爬东西、偷数据，有些人甚至认为只要有爬虫，什么数据都可以搞到。

今天，我们就打开爬虫这个“工具箱”，把涉及到的技术盲区放到灯光下，让大家可以清楚地看下。下面，本文就从这个角度来聊聊爬虫这个熟悉而又陌生的技术。

爬虫的技术原理

搜索引擎收集网上信息的主要手段就是网络爬虫(也叫网页蜘蛛、网络机器人)。它是一种“自动化浏览网络”的程序，按照一定的规则，自动抓取互联网信息，比如：网页、各类文档、图片、音频、视频等。搜索引擎通过索引技术组织这些信息，根据用户的查询，快速地提供搜索结果。

设想一下，我们平时浏览网页的时候会怎么做?

一般情况下，首先，会用浏览器打开一个网站的主页，在页面上寻找感兴趣的内容，然后点击本站或其它网站在该网页上的链接，跳转到新的网页，阅读内容，如此循环往复。如下图所示：

（编辑：新余站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!