1.爬蟲的工作原理

網絡爬蟲，即Web Spider，是一個很形象的名字。把互聯網比喻成一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。網絡蜘蛛是通過網頁的鏈接地址來尋找網頁的。從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。這樣看來，網絡爬蟲就是一個爬行程序，一個抓取網頁的程序。網絡爬蟲的基本操作是抓取網頁。那么如何才能隨心所欲地獲得自己想要的頁面？先從URL開始。

抓取網頁的過程其實和讀者平時使用IE瀏覽器瀏覽網頁的道理是一樣的。比如說你在瀏覽器的地址欄中輸入www.baidu.com這個地址。打開網頁的過程其實就是瀏覽器作為一個瀏覽的“客戶端”，向服務器端發送了 一次請求，把服務器端的文件“抓”到本地，再進行解釋、展現。HTML是一種標記語言，用標簽標記內容并加以解析和區分。瀏覽器的功能是將獲取到的HTML代碼進行解析，然后將原始的代碼轉變成我們直接看到的網站頁面。

簡單的來講，URL就是在瀏覽器端輸入的http://www.baidu.com這個字符串。在理解URL之前，首先要理解URI的概念。

什么是URI？

Web上每種可用的資源，如 HTML文檔、圖像、視頻片段、程序等都由一個通用資源標志符(Universal Resource Identifier， URI)進行定位。

URI通常由三部分組成：

如下面的URI：http://www.why.com.cn/myhtml/html1223/

2.  URL的理解和舉例

URL是URI的一個子集。它是Uniform Resource Locator的縮寫，譯為“統一資源定位 符”。通俗地說，URL是Internet上描述信息資源的字符串，主要用在各種WWW客戶程序和服務器程序上。采用URL可以用一種統一的格式來描述各種信息資源，包括文件、服務器的地址和目錄等。URL的一般格式為(帶方括號[]的為可選項)：

protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL的格式由三部分組成：

第一部分和第二部分用“://”符號隔開，第二部分和第三部分用“/”符號隔開。第一部分和第二部分是不可缺少的，第三部分有時可以省略。