很多有關(guān)于網(wǎng)站結(jié)構(gòu)、抓取與收錄、甚至是排名的問題都可以被歸結(jié)為一個(gè)中心問題，那就是：搜索引擎能夠多么容易的抓取您的網(wǎng)站？我們?cè)谧罱膸状位顒?dòng)上都談到過這個(gè)話題，下面您將會(huì)看到我們關(guān)于這個(gè)問題的演講內(nèi)容以及要點(diǎn)概括。

網(wǎng)絡(luò)世界極其龐大；每時(shí)每刻都在產(chǎn)生新的內(nèi)容。google 本身的資源是有限的，當(dāng)面對(duì)幾近無窮無盡的網(wǎng)絡(luò)內(nèi)容的時(shí)候，googlebot 只能找到和抓取其中一定比例的內(nèi)容。然后，在我們已經(jīng)抓取到的內(nèi)容中，我們也只能索引其中的一部分。

urls 就像網(wǎng)站和搜索引擎抓取工具之間的橋梁: 為了能夠抓取到您網(wǎng)站的內(nèi)容，抓取工具需要能夠找到并跨越這些橋梁(也就是找到并抓取您的urls)。如果您的urls很復(fù)雜或冗長，抓取工具不得不需要反復(fù)花時(shí)間去跟蹤這些網(wǎng)址；如果您的urls很規(guī)整并且直接指向您的獨(dú)特內(nèi)容，抓取工具就可以把精力放在了解您的內(nèi)容上，而不是白白花在抓取空網(wǎng)頁或被不同的urls指引卻最終只是抓取到了相同的重復(fù)內(nèi)容。

在上面的幻燈片上，您可以看到一些我們應(yīng)當(dāng)避免的反例--這些都是現(xiàn)實(shí)中存在的url例子(盡管他們的名稱由于保護(hù)隱私的原因已經(jīng)被替換了)，這些例子包括被黑的url和編碼，冗余的參數(shù)偽裝成url路徑的一部分，無限的抓取空間，等等。您還可以找到幫助您理順這些網(wǎng)址迷宮和幫助抓取工具更快更好地找到您的內(nèi)容的一些建議，主要包括：

1）去除url中的用戶相關(guān)參數(shù)
那些不會(huì)對(duì)網(wǎng)頁內(nèi)容產(chǎn)生影響的url中的參數(shù)——例如session id或者排序參數(shù)——是可以從url中去除的，并被cookie記錄的。通過將這些信息加入cookie，然后301重定向至一個(gè)“干凈”的url，你可以保持原有的內(nèi)容，并減少多個(gè)url指向同一內(nèi)容的情況。
控制無限空間

你的網(wǎng)站上是否有一個(gè)日歷表，上面的鏈接指向無數(shù)個(gè)過去和將來的日期（每一個(gè)鏈接地址都獨(dú)一無二）？你的網(wǎng)頁地址是否在加入一個(gè)&page=3563的參數(shù)之后，仍然可以返回200代碼，哪怕根本沒有這么多頁？如果是這樣的話，你的網(wǎng)站上就出現(xiàn)了所謂的“無限空間”，這種情況會(huì)浪費(fèi)抓取機(jī)器人和你的網(wǎng)站的帶寬。如何控制好“無限空間”，參考這里的一些技巧吧。

2）阻止google爬蟲抓取他們不能處理的頁面
通過使用你的robots.txt 文件，你可以阻止你的登錄頁面，聯(lián)系方式，購物車以及其他一些爬蟲不能處理的頁面被抓取。(爬蟲是以他的吝嗇和害羞而著名，所以一般他們不會(huì)自己 “往購物車?yán)锾砑迂浳?rdquo; 或者 “聯(lián)系我們”)。通過這種方式，你可以讓爬蟲花費(fèi)更多的時(shí)間抓取你的網(wǎng)站上他們能夠處理的內(nèi)容。

一人一票。 一個(gè) url, 一段內(nèi)容
在理想的世界里，url和內(nèi)容之間有著一對(duì)一的對(duì)應(yīng)：每一個(gè)url會(huì)對(duì)應(yīng)一段獨(dú)特的內(nèi)容，而每一段內(nèi)容只能通過唯一的一個(gè)url訪問。越接近這樣的理想狀況，你的網(wǎng)站會(huì)越容易被抓取和收錄。如果你的內(nèi)容管理系統(tǒng)或者目前的網(wǎng)站建立讓它實(shí)現(xiàn)起來比較困難，你可以嘗試使用rel=canonical元素去設(shè)定你想用的url去指示某個(gè)特定的內(nèi)容。