覺得今天很有必要跟大家分享一下Robots與死鏈的關系，這幾天已經遇到了好幾個er在混淆這兩個概念了，老是把Robot的應用與死鏈的處理，搭配到一起去使用，Seven足足碼字好幾百，聊天記錄都說了兩頁了，回頭還是問了句，“怎么在robot中寫死鏈提交”，我在想一定是我表達的方式不對，下面給大家捋捋思路：

Robot的應用：主要用于定義允許/禁止哪些搜索引擎蜘蛛的爬取，允許/禁止蜘蛛可以爬取的網站路徑，允許/禁止蜘蛛爬取URL的規則，告訴某些搜索引擎的URL，例如我的Robot就簡單簡單定義了幾個規則:

死鏈的處理：這里針對百度搜索引擎討論，主要還是到站長工具里面，把死鏈提交給百度，告訴百度這個鏈接不存在，請求刪除之前的收錄，這里是以txt或xml形式批量提交死鏈給百度；

現在談談死鏈與Robot的關系，很多人就把死鏈提交到Robots定義里面，認為用Disallow來禁止的抓取，這個想法是好的，出發點無非是不想讓百度收錄自己網站的死鏈，但是有沒有考慮到快照問題，就是這個鏈接是個死鏈，但是在網站收錄里面還有快照存在，你就會想，是不是百度還能抓取到我的死鏈，所以你就在Robot里面加了N多行的Disallow，來禁止百度收錄你的死鏈，seven一直不太認可這么一個做法，其實這完全是一個本末倒置的做法。

需要搞清楚死鏈是如何產生的？死鏈是由于文件刪除或者路徑修改產生的不可訪問的鏈接，那么你需要做的第一步是完全清除死鏈，第二步是提交死鏈，而Robots的禁止收錄，是因為路徑存在，但是你不希望被搜索引擎收錄，比如網站后臺或者用戶中心一類，所以才加的Disallow去禁止收錄，死鏈是訪問不到的鏈接，如果你第一步清除完了，存在這個Disallow的必要嗎？因為你不完全清除死鏈，勢必影響用戶體驗。

總結：死鏈是必須清除的，對于搜索引擎而言，網站收錄之前的死鏈一般不會被收錄，因為沒有價值；收錄之后的死鏈，可能用戶會在搜索結果或者站內瀏覽時點擊到，影響用戶體驗，所以必須提交死鏈和投訴快照加快死鏈處理。robots與死鏈的關系很微妙，差別就在于這個死鏈地址是否還存在于網站內鏈當中。