目標是把騰訊新聞主頁上所有新聞爬取下來，獲得每一篇新聞的名稱、時間、來源以及正文。

接下來分解目標，一步一步地做。

步驟1：將主頁上所有鏈接爬取出來，寫到文件里。

python在獲取html方面十分方便，寥寥數行代碼就可以實現我們需要的功能。

我們都知道html鏈接的標簽是“a”，鏈接的屬性是“href”，也就是要獲得html中所有tag=a，attrs=href 值。

查閱了資料，一開始我打算用HTMLParser，而且也寫出來了。但是它有一個問題，就是遇到中文字符的時候無法處理。

SGMLParser針對某個標簽都需要重載它的函數，這里是把所有的鏈接放到該類的urls里。

這樣子就把所有符合條件的鏈接都保存到urls.txt文件里了。

步驟2：對于每一個鏈接，獲取它的網頁內容。

很簡單，只需要打開urls.txt文件，一行一行地讀出來就可以了。

也許這里會顯得多此一舉，但是基于我對解耦的強烈愿望，我還是果斷地寫到文件里了。后面如果采用面向對象編程，重構起來是十分方便的。

獲取網頁內容部分也是相對簡單的，但是需要把網頁的內容都保存到一個文件夾里。

這里有幾個新的用法：

有了這些方法，將字符串保存到某個文件夾下不同的文件就不再是一件困難的事了。

步驟3：枚舉每一個網頁，根據正則匹配獲得目標數據。

下面的方法是用來遍歷文件夾的。

遍歷，讀取，匹配，結果就出來了。

我使用的數據提取的正則表達式是這樣的：

其實這個并不能匹配到騰訊網的所有新聞，因為上面的新聞有兩種格式，標簽有一點差別，所以只能提取出一種。

另外一點就是通過正則表達式的提取肯定不是主流的提取方法，如果需要采集其他網站，就需要變更正則表達式，這可是一件比較麻煩的事情。

提取之后觀察可知，正文部分總是會參雜一些無關信息，比如“<script>...</script>”“<p></p>”等等。所以我再通過正則表達式將正文切片。

這樣騰訊網上面的正文基本全部能夠提取出來。

到此整個采集也就結束了。

展示一下我提取到的結果（不使用自動換行，右邊隱藏了）：

注意：

1、打開某個網址的時候，如果網址是壞的（打不開），若不處理則會報錯。我簡單地使用處理異常的方式，估計應該有其他方式。

2、Python正則表達式中的“.”號，可以匹配任意字符，但是除了“/n”。

3、如何去除字符串末尾的“/n”？python的處理簡直優雅到死啊！