robots協議是什么？robots文件如何使用？

2024-04-25 20:46:00

字體：大中小

來源：轉載

供稿：網友

　Robots協議

　　Robots協議，又稱為機器人協議，網站用來告知搜索引擎哪些頁面可以被抓取，哪些頁面不能被抓取的。體現在位于網站根目錄下的robots.txt文件中，它并不是一個命令，只是一種國際上通行的規范，將網站的一些不能被抓取的文件或者目錄，記錄在robots.txt中，當搜索引擎的蜘蛛訪問這個網站時候，首先就會去訪問robots文件，得知不能被抓取目錄和文件信息。

　　Robots文件的寫法

　　User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

　　Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

　　Disallow: /admin/*.html 禁止訪問/admin/目錄下的所有以".html"為后綴的URL(包含子目錄)。

　　Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址

　　Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片

　　Disallow:/admin/adc.html 禁止爬取admin文件夾下面的adc.html文件。

　　Allow: 的用法同Disallow 相反

　　Sitemap: 告訴搜索引擎蜘蛛這個頁面是網站地圖

　　Robots案列說明

　　1，禁止所有搜索引擎訪問網站的任何部分

　　User-agent: *

　　Disallow: /

　　2，攔截子目錄中某個頁面之外的其他所有頁面

　　User-agent: *

　　Allow: /admin/login.html

　　Disallow: /admin/

　　3，要攔截對所有以 ABC 開頭的子目錄的訪問

　　User-Agent:*

　　Disallow: /ABC*/

　　4，要攔截對所有包含問號 (?) 的網址的訪問

　　User-agent: *

　　Disallow: /*?*

　　5，要攔截以 .asp 結尾的網址

　　User-agent: *

　　Disallow: /*.asp$

　　備注：1，*是通配符。2，?是匹配符。3，$是結束符

　　建議僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。

上一篇：JS調用或插入阿里媽媽廣告代碼方法

下一篇：百度聯盟廣告異步加載最優解決方案