大家好，前面入門已經說了那么多基礎知識了，下面我們做幾個實戰項目來挑戰一下吧。那么這次為大家帶來，Python爬取糗事百科的小段子的例子。
首先，糗事百科大家都聽說過吧？糗友們發的搞笑的段子一抓一大把，這次我們嘗試一下用爬蟲把他們抓取下來。
本篇目標
- 抓取糗事百科熱門段子
- 過濾帶有圖片的段子
- 實現每按一次回車顯示一個段子的發布時間，發布人，段子內容，點贊數。
糗事百科是不需要登錄的，所以也沒必要用到Cookie，另外糗事百科有的段子是附圖的，我們把圖抓下來圖片不便于顯示，那么我們就嘗試過濾掉有圖的段子吧。
好，現在我們嘗試抓取一下糗事百科的熱門段子吧，每按下一次回車我們顯示一個段子。
1.確定URL并抓取頁面代碼
首先我們確定好頁面的URL是 http://www.qiushibaike.com/hot/page/1，其中最后一個數字1代表頁數，我們可以傳入不同的值來獲得某一頁的段子內容。
我們初步構建如下的代碼來打印頁面代碼內容試試看，先構造最基本的頁面抓取方式，看看會不會成功
# -*- coding:utf-8 -*-import urllibimport urllib2 page = 1url = 'http://www.qiushibaike.com/hot/page/' + str(page)try: request = urllib2.Request(url) response = urllib2.urlopen(request) print response.read()except urllib2.URLError, e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason
運行程序，哦不，它竟然報錯了，真是時運不濟，命途多舛啊
line 373, in _read_status raise BadStatusLine(line)httplib.BadStatusLine: ''
好吧，應該是headers驗證的問題，我們加上一個headers驗證試試看吧，將代碼修改如下
# -*- coding:utf-8 -*-import urllibimport urllib2 page = 1url = 'http://www.qiushibaike.com/hot/page/' + str(page)user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'headers = { 'User-Agent' : user_agent }try: request = urllib2.Request(url,headers = headers) response = urllib2.urlopen(request) print response.read()except urllib2.URLError, e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason 嘿嘿，這次運行終于正常了，打印出了第一頁的HTML代碼，大家可以運行下代碼試試看。在這里運行結果太長就不貼了。
2.提取某一頁的所有段子
好，獲取了HTML代碼之后，我們開始分析怎樣獲取某一頁的所有段子。
首先我們審查元素看一下，按瀏覽器的F12，截圖如下
我們可以看到，每一個段子都是<div class=”article block untagged mb15″ id=”…”>…</div>包裹的內容。
現在我們想獲取發布人，發布日期，段子內容，以及點贊的個數。不過另外注意的是，段子有些是帶圖片的，如果我們想在控制臺顯示圖片是不現實的，所以我們直接把帶有圖片的段子給它剔除掉，只保存僅含文本的段子。
所以我們加入如下正則表達式來匹配一下，用到的方法是 re.findall 是找尋所有匹配的內容。方法的用法詳情可以看前面說的正則表達式的介紹。
好，我們的正則表達式匹配語句書寫如下，在原來的基礎上追加如下代碼
content = response.read().decode('utf-8')pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+ 'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)items = re.findall(pattern,content)for item in items: print item[0],item[1],item[2],item[3],item[4] 現在正則表達式在這里稍作說明
1）.*? 是一個固定的搭配，.和*代表可以匹配任意無限多個字符，加上？表示使用非貪婪模式進行匹配，也就是我們會盡可能短地做匹配，以后我們還會大量用到 .*? 的搭配。
2）(.*?)代表一個分組，在這個正則表達式中我們匹配了五個分組，在后面的遍歷item中，item[0]就代表第一個(.*?)所指代的內容，item[1]就代表第二個(.*?)所指代的內容，以此類推。
3）re.S 標志代表在匹配時為點任意匹配模式，點 . 也可以代表換行符。
這樣我們就獲取了發布人，發布時間，發布內容，附加圖片以及點贊數。
在這里注意一下，我們要獲取的內容如果是帶有圖片，直接輸出出來比較繁瑣，所以這里我們只獲取不帶圖片的段子就好了。
所以，在這里我們就需要對帶圖片的段子進行過濾。
我們可以發現，帶有圖片的段子會帶有類似下面的代碼，而不帶圖片的則沒有，所以，我們的正則表達式的item[3]就是獲取了下面的內容，如果不帶圖片，item[3]獲取的內容便是空。
<div class="thumb"> <a href="/article/112061287?list=hot&s=4794990" target="_blank"><img src="http://pic.qiushibaike.com/system/pictures/11206/112061287/medium/app112061287.jpg" </div>
所以我們只需要判斷item[3]中是否含有img標簽就可以了。
好，我們再把上述代碼中的for循環改為下面的樣子
for item in items: haveImg = re.search("img",item[3]) if not haveImg: print item[0],item[1],item[2],item[4] 現在，整體的代碼如下
# -*- coding:utf-8 -*-import urllibimport urllib2import re page = 1url = 'http://www.qiushibaike.com/hot/page/' + str(page)user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'headers = { 'User-Agent' : user_agent }try: request = urllib2.Request(url,headers = headers) response = urllib2.urlopen(request) content = response.read().decode('utf-8') pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+ 'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S) items = re.findall(pattern,content) for item in items: haveImg = re.search("img",item[3]) if not haveImg: print item[0],item[1],item[2],item[4]except urllib2.URLError, e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason 運行一下看下效果
恩，帶有圖片的段子已經被剔除啦。是不是很開森？
3.完善交互，設計面向對象模式
好啦，現在最核心的部分我們已經完成啦，剩下的就是修一下邊邊角角的東西，我們想達到的目的是：
按下回車，讀取一個段子，顯示出段子的發布人，發布日期，內容以及點贊個數。
另外我們需要設計面向對象模式，引入類和方法，將代碼做一下優化和封裝，最后，我們的代碼如下所示
# -*- coding:utf-8 -*-import urllibimport urllib2import reimport threadimport time #糗事百科爬蟲類class QSBK: #初始化方法，定義一些變量 def __init__(self): self.pageIndex = 1 self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' #初始化headers self.headers = { 'User-Agent' : self.user_agent } #存放段子的變量，每一個元素是每一頁的段子們 self.stories = [] #存放程序是否繼續運行的變量 self.enable = False #傳入某一頁的索引獲得頁面代碼 def getPage(self,pageIndex): try: url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex) #構建請求的request request = urllib2.Request(url,headers = self.headers) #利用urlopen獲取頁面代碼 response = urllib2.urlopen(request) #將頁面轉化為UTF-8編碼 pageCode = response.read().decode('utf-8') return pageCode except urllib2.URLError, e: if hasattr(e,"reason"): print u"連接糗事百科失敗,錯誤原因",e.reason return None #傳入某一頁代碼，返回本頁不帶圖片的段子列表 def getPageItems(self,pageIndex): pageCode = self.getPage(pageIndex) if not pageCode: print "頁面加載失敗...." return None pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+ 'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S) items = re.findall(pattern,pageCode) #用來存儲每頁的段子們 pageStories = [] #遍歷正則表達式匹配的信息 for item in items: #是否含有圖片 haveImg = re.search("img",item[3]) #如果不含有圖片，把它加入list中 if not haveImg: replaceBR = re.compile('<br/>') text = re.sub(replaceBR,"/n",item[1]) #item[0]是一個段子的發布者，item[1]是內容，item[2]是發布時間,item[4]是點贊數 pageStories.append([item[0].strip(),text.strip(),item[2].strip(),item[4].strip()]) return pageStories #加載并提取頁面的內容，加入到列表中 def loadPage(self): #如果當前未看的頁數少于2頁，則加載新一頁 if self.enable == True: if len(self.stories) < 2: #獲取新一頁 pageStories = self.getPageItems(self.pageIndex) #將該頁的段子存放到全局list中 if pageStories: self.stories.append(pageStories) #獲取完之后頁碼索引加一，表示下次讀取下一頁 self.pageIndex += 1 #調用該方法，每次敲回車打印輸出一個段子 def getOneStory(self,pageStories,page): #遍歷一頁的段子 for story in pageStories: #等待用戶輸入 input = raw_input() #每當輸入回車一次，判斷一下是否要加載新頁面 self.loadPage() #如果輸入Q則程序結束 if input == "Q": self.enable = False return print u"第%d頁/t發布人:%s/t發布時間:%s/t贊:%s/n%s" %(page,story[0],story[2],story[3],story[1]) #開始方法 def start(self): print u"正在讀取糗事百科,按回車查看新段子，Q退出" #使變量為True，程序可以正常運行 self.enable = True #先加載一頁內容 self.loadPage() #局部變量，控制當前讀到了第幾頁 nowPage = 0 while self.enable: if len(self.stories)>0: #從全局list中獲取一頁的段子 pageStories = self.stories[0] #當前讀到的頁數加一 nowPage += 1 #將全局list中第一個元素刪除，因為已經取出 del self.stories[0] #輸出該頁的段子 self.getOneStory(pageStories,nowPage) spider = QSBK()spider.start() 好啦，大家來測試一下吧，點一下回車會輸出一個段子，包括發布人，發布時間，段子內容以及點贊數，是不是感覺爽爆了！
我們第一個爬蟲實戰項目介紹到這里，希望大家喜歡。
