Robots.txt是存放于網站根目錄下用于規定搜索引擎對網站內容抓取范圍的文本文件，就這么一句話可以解釋robots.txt是什么。

但是我們需要注意的幾點：

1.robots.txt必須存放在網站的根目錄下。

2.其命名必須為robots.txt

3.Robots.txt是搜索引擎訪問網站的第一個頁面

4.Robots.txt中必須指明user-agent