前两天朋友发给我了一篇文章，是携程网反爬虫组的技术经理写的，大概讲的是如何用他的超高智商通过（挑衅、怜悯、嘲讽、猥琐）的方式来完美碾压爬虫开发者。今天我就先带大家开发一个最简单低端的爬虫，突破携程网超高智商的反爬虫技术。

一、什么是爬虫？

很多人说我们这些搞软件的人，，总喜欢把虚拟世界里的事物跟现实中的东西扯上关系。这点我真不否认，脱离了现实，我们伟大的创举还有何意义？

“爬虫”就是个例子，它对于我们开发人员而言，就是一段用来自动化采集网站数据的程序，结果跟现实中的虫子扯上了关系。听说是Google工程师提出来的，有质疑请联系Larry Page。

二、为什么需要开发爬虫？

在这个数据横流的互联网时代，创业型公司如雨后春笋般的崛起，而大数据则可以帮他们迅速生产垂直化数据资料库，提供给用户使用。同时也让老板们更容易看清未来的方向，制定发展策略。

这些大数据从哪儿能弄来呢？当然是从每个行业里的龙头老大那里，做老大就是这么不容易。这图里一部分是行业老大，有些我也没听说过，仅供参考：

京东的价格、携程的评论、亚马逊的书、淘宝的信用、支付宝的订单等。这些数据采集下来都很庞大，那究竟要这些数据有什么用呢？

直接用于机器学习，分析用户的兴趣爱好和行为。

获取淘宝店铺信用，直接用于新平台的用户信用及身份验证。

获取各个商城物品价格，为用户提供市场场最低价。

获取酒店、图书的（价格、简介、评论），做垂直化平台的基础数据库。

请原谅我用携程举例：设想我们要做一个高端的垂直化酒店平台，就拿北京来说，酒店接近10000家。要是全部都手动筛选、录入这些信息，需要花费的人力、时间是极其恐怖的事。当然最难的应该是将人工搜集的数据标准化。怎样才能把携程网的酒店数据弄下来作为我们的基础资料库呢？

如果利用爬虫技术，事情就有了很好解决方案。我们只需要编写一个7*24小时运行的分布式爬虫，自动化采集携程网酒店数据，将国内外所有高端酒店（图片、简介、评分、用户评论）全部抓取下来。再通过数据清洗，使内容标准化，让这些数据成为我们的基础资料库就行了。看到这里内心是不是已经有点小激动？

三、开发爬虫需要哪些技术？

由此可见，爬虫技术已经成为我们每个开发人员最基本的技能，同时也是步入中高级开发不得不涉足的内容。为什么这么说呢？因为开发一个像样的爬虫，需要你了解的东西还真不少：

学习任意一门开发语言：C#、NodeJs、Python、Java、C++。

学习网页前端脚本语言：Javascript、HTML、CSS。

学习HTTP协议、正则表达式、数据库、代理切换等相关知识。

学习多线程并发抓取、任务调度、消息队列、分布式爬虫、图像识别、模拟键鼠、NoSql。

我仿佛看到了你一脸懵懂的表情！你真的没有看错，这些技术只是冰山一角。不过也不用担心，初中级的爬虫只需要学会前三点就可以了。要想开发出更高级的爬虫，第四点是必须会的，同时为了追求极致的性能，还需要研究开源浏览器内核的相关项目，此处暂省略十万字。

四、开发一个最简单的爬虫

下面我用C#.NET来写一个非常简单的爬虫，我们的爬虫之所以被封杀，肯定是因为对方找到了运行特征。因此只需要修改爬虫的运行方式及特征，让其操作与普通用户的相似就可以了。一般爬虫会有哪些特征和运行方式呢？

User-Agent：主要用来将我们的爬虫伪装成浏览器。

Cookie：主要用来保存爬虫的登录状态。

连接数：主要用来限制单台机器与服务端的连接数量。

代理IP：主要用来伪装请求地址，提高单机并发数量。