搜索引擎蜘蛛一个搜索机制，搜索引擎“蜘蛛”也称为网络爬虫、网页蜘蛛，它可以按照一定的规则来主动地抓取人们所需要的信息的程序及脚本也同时可以抓取网页上的信息、图片及视频等内容，方便搜索引擎对其进行检索。

一、什么是搜索引擎蜘蛛

  引擎蜘蛛一个搜索机制，搜索引擎“蜘蛛”也称为网络爬虫、网页蜘蛛，它可以按照一定的规则来主动地抓取人们所需要的信息的程序及脚本也同时可以抓取网页上的信息、图片及视频等内容，方便搜索引擎对其进行检索。

  把互联网上的每个网页想象成节点，那么许多的网页就可以形成一个网状模型，当人们在浏览网页点击网页链接时，网络蜘蛛便从一个节点跳到另一个节点上，同时互联网可以被想象成一张巨大的蜘蛛网，蜘蛛在这张巨大的大网上抓取信息到浏览器的搜索引擎服务器上，并建立检索库。

二、搜索引擎蜘蛛的来源

  在互联网时代发展的前期，互联网上的网站还相对较少，用户想要查取信息还很容易简便，后来随着互联网的飞速发展，各种网站的增多，内容逐渐的丰富起来，一般的用户想要找到自己想要的信息便如同是海底捞针，为了解决这一难题，用于满足大众检索信息的机器人程序“蜘蛛”便应运而生。

三、蜘蛛的工作原理

  网站是由各个网页组成的，就像是一个蜘蛛网，“蜘蛛”通过人们所提供的链接来寻找爬行，当它通过读取其中一个网页的内容，找到这个网页中其他的链接地址，然后通过这个找寻其他的地址，如此往复，直到将所有的网页抓取完成。然后“蜘蛛”抓取网站是一层一层抓取的，就像蜘蛛编织蜘蛛网一样，所以把搜索引擎爬行抓取网站的过程叫做“蜘蛛爬行”。

  网络爬虫”在爬行的时，会对内容进行检测，在权重比较低的网页发现了过多的转载抄袭或是内容相似度很高的内容时，“蜘蛛”便会停止爬行，并且不会抓取收录这些内容。搜索引擎为了提高爬行的速度，一般都会让多个蜘蛛同时进行爬行。