一、Robots是什么意思?

　　Robots是一個英文單詞，對英語比較懂的朋友相信都知道，Robots的中文意思是機器人。而我們通常提到的主要是Robots協議，這也是搜索引擎的國際默認公約。

　　二、Robots協議是什么?

　　Robots協議通常被稱為是爬蟲協議、機器人協議，主要是在搜素引擎中會見到，其本質是網站和搜索引擎爬蟲的溝通方式，用來指導搜索引擎更好地抓取網站內容，而不是作為搜索引擎之間互相限制和不正當競爭的工具。

　　百度為什么稱360違反Robots協議呢?主要是因為百度認為360搜素對自身產生了競爭，百度不希望自己旗下的貼吧，文庫，知道，百科等網站產品，被360搜素收錄，并且在Robots協議中標注屏蔽360搜素，而360直接繞過了robots協議繼續采集百度旗下產品網站的信息，因此被百度起訴。

　　簡單的說，任何網站只要在其robots協議中加入禁止某搜索引擎訪問，那么該搜索引擎就無權收錄該網站的內容。而robots的重要性在于，一個網站有權利可以存在于互聯網中，但又不被指定的搜索引擎索引放到搜索結果中，因為搜索引擎在互聯網上就像國王，網站就是每個人的小家，而robots協議則是對抗國王的最后利器，正所謂“風能進雨能進國王不能進”。

　　在網站中，Robots協議是一個記事本文件，我們只要將Robots.txt文件放置在網站跟目錄，里邊可以標注，哪些網站目錄不希望被搜索引擎抓取即可，其格式如下圖所示：