為什么會出現收錄困難？這是因為搜索引擎機器人是一個很簡單的軟件程序，它本身對站點并沒有任何的理解能力。

對于每一個站長而言，最關鍵的某過于搜索引擎能夠正常收錄，一旦網站不能正常收錄一切都是癡心妄想。為什么會出現收錄困難？這是因為搜索引擎機器人是一個很簡單的軟件程序，它本身對站點并沒有任何的理解能力，只是通過一些固有的標準來評判站點的好壞，一旦站點在寫法上出現了錯誤，搜索引擎將無法對站點進行采集。

原因一：網站在沒有建設好的情況下就上線了（如死鏈很多）

這個很容易被忽視的，在您的網站上線之前，哪怕去掉那些沒用的死鏈，也不能因為”好看“而保留著。

原因二：站點的robots.txt文件已損壞或者在書寫的時候出現錯誤（例如出現錯別字）

如果搜索引擎機器人錯誤的理解了您的robots.txt文件，它們可能會完全無視你的網頁。對于這個問題，解決的辦法是仔細檢查您的robots.txt文件，并確保您網頁上的的參數是正確的。

原因三：網址中包含太多的變數網址

中包含太多的變數可能會造成搜索引擎機器人搜索困難。如果您的URL 包含變數太多，搜索引擎漫游器可能會忽視您的網頁。對于這個問題一些比較熟悉網站建設的人可能會想到動態網頁，的確就是這個問題，動態生成的網頁（括ASP、PHP）可能導致抓取工具無法收錄，解決辦法，使用靜態頁面。

原因四：在您的網址中使用了會話ID

許多搜索引擎不去收錄那些包含會話ID的網頁，因為它們可導致內容的重復。如果可能的話，避免會話ID出現在您的網址，而使用Session存儲會話ID。

原因五：您的網頁中包含太多的代碼

網頁中包含了Java代碼、CSS的代碼以及其他腳本代碼。這些代碼與內容沒有直接的聯系，訪問您網頁并選擇“查看源文件”或“查看HTML 源”，如果您很難對網站上的實際內容進行更改，那么通常情況下搜索引擎收錄起來也很困難。

原因六 ：網站導航

大多數搜索引擎的機器人不能解析Java 或DHTML 菜單，當然Flash以及Ajax 菜單效果更差。

如上文所述，搜索引擎機器人是很簡單的程序，它們遵循的HTML鏈接，一旦鏈接出現錯誤對收錄也會帶來困難。