什么是搜索引擎蜘蛛？

搜索引擎蜘蛛簡稱網絡爬蟲(webcrawler)，網絡爬蟲(又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。

我們可以將互聯網理解成一張巨大的“蜘蛛網”，而搜索引擎蜘蛛是類似實質的“機器人”。蜘蛛的主要任務就是在巨大的蜘蛛網（互聯網）中瀏覽信息，然后把這些信息都抓取到搜索引擎的服務器上，然后建立索引庫。就好比機器人瀏覽我們的網站，然后把內容保存到自己的電腦上。

每個搜索引擎都有自己的蜘蛛，搜索引擎蜘蛛也叫搜索引擎爬蟲、搜索引擎robot。

國內各大搜索引擎蜘蛛名稱：

百度：百度spider

谷歌：googlebot

搜狗：sogou spider

搜搜：Sosospider

360搜索：360Spider

有道：YodaoBot

雅虎：Yahoo Slurp

必應：msnbot

Msn:msnbot