robots.txt 文件對(duì)抓取網(wǎng)絡(luò)的搜索引擎漫游器（稱(chēng)為漫游器）進(jìn)行限制。這些漫游器是自動(dòng)的，在其訪問(wèn)網(wǎng)頁(yè)前會(huì)查看是否存在阻止其訪問(wèn)特定網(wǎng)頁(yè)的 robots.txt 文件。

如何創(chuàng)建 robots.txt 文件？

可以在任何文本編輯器中創(chuàng)建此文件。該文件應(yīng)為 ASCII 編碼的文本文件，而非 HTML 文件。文件名應(yīng)使用小寫(xiě)字母。

語(yǔ)法

這兩行被視為文件中的一個(gè)條目。您可根據(jù)需要包含任意多個(gè)條目。您可在一個(gè)條目中包含多個(gè) Disallow 行和多個(gè) User-Agent。

應(yīng)在 User-Agent 行中列出什么內(nèi)容？

User-Agent:*

Google 使用多種不同漫游器（用戶代理）。用于網(wǎng)絡(luò)搜索的漫游器是 Googlebot。Googlebot-Mobile 和 Googlebot-Image 等其他漫游器遵循您為 Googlebot 設(shè)置的規(guī)則，您還可為這些特定漫游器設(shè)置附加規(guī)則。

應(yīng)在 Disallow 行中列出什么內(nèi)容？

Disallow:/

Disallow:/private_directory/

Disallow:/private_file.html

網(wǎng)址區(qū)分大小寫(xiě)。例如，Disallow: /private_file.html 將攔截 http://www.example.com/private_file.html，但允許 http://www.example.com/Private_File.html。

更多內(nèi)容請(qǐng)?jiān)L問(wèn):http://www.google.com/support/webmasters

僅當(dāng)您的網(wǎng)站包含不希望搜索引擎編入索引的內(nèi)容時(shí)，才需要使用 robots.txt 文件。如果您希望搜索引擎將網(wǎng)站上的所有內(nèi)容編入索引，則不需要 robots.txt 文件（甚至連空文件也不需要）。

示例：

------------------------------------------------------------------------------------------------------------------------------------------

#