驚現索引擎如何索引收錄網頁的方法

2019-11-02 16:56:01

字體：大中小

來源：轉載

供稿：網友

highdiy 發表在五月 9, 2007

對SEO(搜索引擎優化)而言，讓網站內的頁面能夠及時、全面地被搜索引擎索引、收錄應該說是首要的任務，這是實施其他SEO策略的最基本保證。――不過，這也是往往易被高估的一個環節，比如說我們時?？梢钥吹侥承┤诵Q自己的網站被Google收錄了多少頁面如幾K甚至幾十K等以證明SEO工作的成功。但客觀地說，網頁僅僅被搜索引擎索引、收錄是沒有太大的實際意義，往往只能淪為浩如煙海的Internet世界中的殉葬品，更重要的是如何讓網頁出現在針對特定搜索項的SERP(搜索結果頁面)前幾頁。――許多人相信，讓網站內盡可能多的頁面被收錄進搜索引擎索引數據庫終歸不是一件壞事，網頁越多，暴光的機會也便越大，雖然最終效果如何存在疑問。

Anyway，如果在對網站實施SEO時將重點放在網頁被索引、收錄的速度與效率，當然也無可厚非，而要想實現這一點，需要我們對搜索引擎如何收錄、索引網頁的機制有所了解。下面我們以Google為例，介紹搜索引擎收錄、索引網頁的過程，希望能對朋友們有后助益。――對其他搜索引擎如Yahoo!、Live搜索及百度而言，盡管可能在具體細節上存在差別，不過，基本策略應該是類似的。

1、收集待索引網頁的url

Internet上存在的網頁數量絕對是個天文數字，每天新增的網頁也不計其數，搜索引擎需要首先找到要索引收錄的對象。

具體到Google而言，雖然對GoogleBot是否存在DeepBot與FreshBot的區別存在爭議――至于是否叫這么兩個名字更是眾說紛耘，當然，名字本身并不重要――至少到目前為止，主流的看法是，在Google的robots中，的確存在著相當部分專門為真正的索引收錄頁頁準備“素材”的robots――在這里我們姑且仍稱之為FreshBot吧――它們的任務便是每天不停地掃描Internet，以發現并維護一個龐大的url列表供DeepBot使用，換言之，當其訪問、讀取其一個網頁時，目的并不在于索引這個網頁，而是找出這個網頁中的所有鏈接。――當然，這樣似乎在效率上存在矛盾，有點不太可信。不過，我們可以簡單地通過以下方式判斷：FreshBot在掃描網頁時不具備“排它性”，也即是說，位于Google不同的數據中心的多個robots可能在某個很短的時間周期，比如說一天甚至一小時，訪問同一個頁面，而DeepBot在索引、緩存頁面時則不會出現類似的情況，即Google會限制由某個數據中心的robots來完成這項工作的，而不會出現兩個數據中心同時索引網頁同一個版本的情況，如果這種說法沒有破綻的話，則似乎可以從服務器訪問日志中時?？梢钥吹皆醋圆煌琁P的GoogleBot在很短的時間內多次訪問同一個網頁證明FreshBot的存在。因此，有時候發現GoogleBot頻繁訪問網站也不要高興得太早，也許其根本不是在索引網頁而只是在掃描url。

FreshBot記錄的信息包括網頁的url、Time Stamp(網頁創建或更新的時間戳)，以及網頁的Head信息(注：這一點存在爭議，也有不少人相信FreshBot不會去讀取目標網頁信息的，而是將這部分工作交由DeepBot完成。不過，筆者傾向于前一種說法，因為在FreshBot向DeepBot提交的url列表中，會將網站設置禁止索引、收錄的頁面排除在外，以提高效率，而網站進行此類設置時除使用robots.txt外還有相當部分是通過mata標簽中的“noindex”實現的，不讀取目標網頁的head似乎是無法實現這一點的)，如果網頁不可訪問，比如說網絡中斷或服務器故障，FreshBot則會記下該url并擇機重試，但在該url可訪問之前，不會將其加入向DeepBot提交的url列表。

總的來說，FreshBot對服務器帶寬、資源的占用還是比較小的。最后，FreshBot對記錄信息按不同的優先級進行分類，向DeepBot提交，根據優先級不同，主要有以下幾種：

A：新建網頁；

B：舊網頁/新的Time Stamp，即存在更新的網頁；

C：使用301/302重定向的網頁；

上一篇：高手收集整理的baidu分詞算法分析之一查詢處理以及分詞技術（1

下一篇：網站關鍵字設置技巧放松了比較不錯的關鍵詞設置方法