7種百度蜘蛛程序你了解多少

2024-04-26 13:26:39

字體：大中小

來源：轉載

供稿：網友

　　是如何爬去網頁內容的呢？我們網頁中的視頻，文字，圖片，是靠什么來抓取的呢？帶這個疑問讓我們來了解下百度蜘蛛Baiduspider：

　　百度是如何收錄到那么多網頁的呢？在互聯網上有數以億計的網頁的百度就是靠Baiduspider - 百度蜘蛛程序。夜以繼日得在互聯網上找尋新的URL，接著抓取URL上的內容，返回到百度的網頁暫存，有另外的程序進行分析然后選擇性放出視頻，文字，圖片，我們從百度里搜索時能看到的都是百度蜘蛛抓取放出的東西，做的人經常會研究網站日志，我們在查看日志的時候會發現好多百度蜘蛛的足跡-百度蛛蛛爬行狀態碼，如

　　（2010-12-28 08:13:46 W3SVC5302241 202.109.143.138 GET /book/story.php id=22 80 - 220.181.108.82

　　Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 3 2335）這是百度抓取內頁時的程序。

　　這有個前提就是robots文件你沒有設置禁止百度蜘蛛

　　百度抓取每個網頁內容都會有不同的蜘蛛程序如果我們想禁止百度莫個蜘蛛來抓取我們的內容可以用robots文件中的user-agent進行設置。

　　如下

　　百度產品名稱對應user-agent

　　網頁搜索 Baiduspider

　　無線搜索 Baiduspider-mobile

　　圖片搜索 Baiduspider-image

　　視頻搜索 Baiduspider-video

　　新聞搜索 Baiduspider-news

　　百度搜藏 Baiduspider-favo

　　百度聯盟 Baiduspider-cpro

　　有些朋友會在自己的網站日志里看到這個蜘蛛Baiduspider-cpro，其實這就是百度聯盟蜘蛛，是作的時候才有。--用以百度聯盟程序匹配相應的廣告。

　　想了接的更多，可要用心了，查看自己的網站日志你會有新的發現，了解百度程序對你的也是很有幫助的啊。

上一篇：跳出率是不是越低越好？如何對待跳出率

下一篇：網站生成靜態頁面的利與弊