robots.txt 文件使你能夠指定你希望阻止其在你網(wǎng)站上抓取文件的漫游器（也被稱為"bots"、"抓取工具"、“搜索引擎蜘蛛”）。網(wǎng)絡(luò)上有很多各種各樣的 robots.txt 生成器。google網(wǎng)站管理員工具中的robots.txt 生成器是第一個由搜索引擎自己提供的生成器工具。

 

robots.txt文件其實很簡單，只有幾個簡單的命令，用記事本就可以編輯了。但是對于很多菜鳥站長來說，robots.txt文件還是太過于復(fù)雜了。使用google網(wǎng)站管理員工具 robots.txt 生成器，你就能夠輕松創(chuàng)建 robots.txt 文件了。

 

 

登陸google網(wǎng)站管理員（https://www.google.com/webmasters/），選擇你要檢查的站點，在點擊網(wǎng)站配置，選擇抓取工具訪問，就可以看到“生成robots.txt”工具了。

 

 

1. robots.txt生成器工具默認選項是“允許所有漫游器”——允許所有的搜索蜘蛛抓取網(wǎng)站。如果你也是希望這樣的話，那你直接用下面這個生成的代碼就行了。