泛泛而談的seo優化,網站優化,頁面的優化布局和分析,無不在我們SEOer的頭腦中形成了一種意識,網站的排名是我們SEOer最為關注的事情了。平時我們經常說的多的就是通過分析百度相關域和收錄、yahoo反向鏈接以及PR等等來分析我們網站的權重和網站的好壞。如果是我們的網站出了什么問題,我們做站長的最關心的也就是我們的網站的收錄、相關域以及反向鏈接的變化,在這里我要和大家分享的是IIS日志的分析,下面簡單的由我來分析下如何通過IIS日志來跟蹤分析搜索引擎蜘蛛。
IIs(internet information services)日志是我們每個網站都具有的功能,只是我們大部分的站長都不怎么去關心它,還有部分站長用的空間或許沒有IIs日志功能,這就需要你去找你的服務器提供商來幫你開通IIS日志功能,只有我們的空間有了這樣一個功能后,蜘蛛來到我們的網站了與服務器的對話才會被記錄到IIs日志里面,我們通過分析IIS日志就可以知道蜘蛛來我們網站做了什么,爬取和收錄了我們的哪些頁面,包括蜘蛛來我們網站的爬取次數和地址,哪些是蜘蛛喜歡爬取的,哪些是蜘蛛不喜歡的或者說是無法爬取到的頁面,知道這些了我們就能針對蜘蛛爬取的動向來更好的分析和優化我們的網站頁面,更清楚我們網站在搜索引擎的動態,那么我們怎么去分析IIS日志?
在IIS日志里面找了這樣一段代碼61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url])" 通過這一段代碼來分析蜘蛛的爬取情況。
第一,我們要知道蜘蛛的名稱,有哪些蜘蛛會來我們的網站爬取,這里列出幾個比較常見的蜘蛛名,百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider在日志文件里,搜索以上蜘蛛名稱。就可以看到蜘蛛抓取的痕跡。
第二,查看蜘蛛的IP地址,這個沒多大用處,我們知道就行,IP地址就像平時我們用手機給你的朋友打電話的時候一樣,你給你的朋友打電話的同時,你朋友的手機上就會顯示你的手機號碼是同一個道理,蜘蛛也是一樣,它來到了你的網站就會用一個IP來顯示它的“手機號碼”。
第三,蜘蛛來我們頁面的訪問時間,上面的一段代碼[11/Jan/2009:04:02:45 +0800]就告訴我們蜘蛛通過80端口在2009年8月11日04時02分45秒的時候來訪問了我們的頁面。
第四,蜘蛛來到了我們的哪些頁面,GET /bbs/thread-7303-1-1.html 是蜘蛛來我們的網站到達的頁面。
第五,蜘蛛訪問了我們的網站,是否就一定訪問成功和下載收錄我們的頁面,200 8450就代表蜘蛛訪問成功并收錄下載了這個大小為8450的頁面,這里的200的意思就是說明訪問成功,但不一定就會收錄我們的頁面,說到了200,那么有人就會問,那還有像301,302,304,400,404,500,503等等一些這樣的http狀態碼又是些什么東西呢?
200:頁面訪問成功但不一定會收錄下載
301:資源永久重定向
302:資源臨時重定向
304:頁面未更新,蜘蛛來到了我們的這個頁面后發現這個頁面我以前來過,這次再來的時候發現這人頁面里面的內容完全是和第一次來的時候一樣的,IIS日志里面就會返回大量的304。
404:訪問的這個鏈接是錯誤鏈接。這個錯誤鏈接,一方面來自原本存在后來刪除了網頁,另一方面可能來自本來就不存在,但其他人外鏈了這么個死鏈接。
至于400,500,503就都是服務器的問題了,和我們本身的頁面是沒有任何關系的。
以上五點就是我們經常見到的的IIS日志分析情況,通過分析這樣的IIS日志代碼就可以清楚的知道我們網站有哪些方面是做的不好的,哪些頁面是做的非常的好的,這樣分析后就可以更方便的來優化我們的網站,提高我們網站的轉換率。
最后,希望大家看了這篇文章有所收獲,有所進步。本文地址:http://www.moonseo.cn, 轉載請保留,作者信息:狼神,seo研究中心講師, YY6359歡迎大家前來學習提問聽課。
新聞熱點
疑難解答