google groups成員指出包括google在內的大部分常用搜索引擎更寵愛utf-8編碼的robots.txt文件。

相關文章：有道關于robots.txt的解釋

robots.txt這個文件相信大家都不模式吧，是搜索引擎中訪問網站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。

當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。

語法：最簡單的 robots.txt 文件使用兩條規則：

• user-agent: 適用下列規則的漫游器
• disallow: 要攔截的網頁

robots.txt是一種存放于網站根目錄下的ascii編碼的文本文件，robots.txt的文件名應統一為小寫，即robots.txt。

robots.txt協議并不是一個規范，而只是約定俗成的，所以并不能保證網站的隱私。注意robots.txt是用字符串比較來確定是否獲取url，所以目錄末尾有和沒有斜杠“/”這兩種表示是不同的url，也不能用”disallow: .gif”這樣的通配符。

因為robots.txt是一個純文本文件，所以很多站長在設置網站的這個文件時，隨便把系統中過的文本編輯器拿來就寫了，然后上傳到自己的網站根目錄，以為這樣就萬事大吉了，其實，你只做了一半因為你的馬虎。

已經被無數站長證實的事實是：搜索引擎更喜歡utf-8編碼的robots.txt文件。google groups成員phil payne也是為此做出聲明說：在常用的html文件編碼類型中，google和其他的搜索引擎都更偏愛utf-8編碼的robots.txt文件。甚至有的文件編碼形式都已經被google直接忽略掉了。

所以請問，你網站根目錄下的robots.txt文件是utf-8編碼嗎？如果不是，建議你修改為該編碼。