搜索引擎爬虫的事情流程，是SEO的根本篇章，也是每一位从事SEO事情的同仁都应该掌握的必备常识。PHPSEO刚通过整理，绘制了一张图，以便于你不懂技术也能看懂搜索引擎爬虫的事情流程，下面我们一起说一下。

    如上图，请大家在阅读下文的时候，比较图中的标号和我一起思考。

    1、种子URL

    1、所谓种子URL所指的就是最开始选定的URL地点，大大都情况下，网站的首页、频道页等丰富性内容更多的页面会被作为种子URL;

    然后将这些种子URL放入到待抓取的URL列表中;

    2、待抓取URL列表

    爬虫从待抓取的URL列表中逐个进行读取，读取URL的过程中，会将URL通过DNS解析，把这个URL地点转换成网站处事器的IP地点+相对路径的方法;

    3、网页下载器

    接下来把这个地点交给网页下载器(所谓网页下载器，顾名思义就是卖力下载网页内容的一个模块;

    4、源代码

    对付下载到本地的网页，也就是我们网页的源代码，一方面要将这个网页存储到网页库中，另一方面会从下载网页中再次提取URL地点。

    5、抽取URL

    新提取出来的URL地点会先在已抓取的URL列表中进行比对，查抄一下这个网页是不是被抓取了。

    6、新URL存入待抓取行列队伍

    如果网页没有被抓取，就将新的URL地点放入到待抓取的URL列表的末尾，期待被抓取。

    就这样循环的事情着，直到待抓取行列队伍为空的时候，爬虫就算完成了抓取的全过程。

    然后以下载的网页，就城市进入到必然的分析中，分析后进行索引，我们就能看到收录功效了。

    对付真正的爬虫来说，先抓哪些页面、后抓哪些页面，以及不抓哪些页面等等都是有必然的计谋的，这里讲述的是一个对照通过、遍及的爬虫抓取流程，身为SEO的我们，知道这些足以。