本文實(shí)例講述了Python爬蟲實(shí)現(xiàn)網(wǎng)頁信息抓取功能。分享給大家供大家參考，具體如下：
首先實(shí)現(xiàn)關(guān)于網(wǎng)頁解析、讀取等操作我們要用到以下幾個(gè)模塊
import urllibimport urllib2import re
我們可以嘗試一下用readline方法讀某個(gè)網(wǎng)站，比如說百度
def test(): f=urllib.urlopen('http://www.baidu.com') while True: firstLine=f.readline() print firstLine下面我們說一下如何實(shí)現(xiàn)網(wǎng)頁信息的抓取，比如說百度貼吧
我們大概要做幾件事情：
首先獲取網(wǎng)頁及其代碼，這里我們要實(shí)現(xiàn)多頁，即其網(wǎng)址會(huì)改變，我們傳遞一個(gè)頁數(shù)
def getPage(self,pageNum): try: url=self.baseURL+self.seeLZ+'&pn='+str(pageNum) #創(chuàng)建request對(duì)象 request=urllib2.Request(url) response=urllib2.urlopen(request) #print 'URL:'+url return response.read() except Exception,e: print e
之后我們要獲取小說內(nèi)容，這里咱們分為標(biāo)題和正文。標(biāo)題每頁都有，所以我們獲取一次就好了。
我們可以點(diǎn)擊某網(wǎng)站，按f12查看他的標(biāo)題標(biāo)簽是如何構(gòu)造的，比如說百度貼吧是<title>…………
那我們就匹配reg=re.compile(r'<title>(.*?)。')來抓取這個(gè)信息
標(biāo)題抓取完我們要開始抓去正文了，我們知道正文會(huì)有很多段，所以我們要循環(huán)的去抓取整個(gè)items，這里我們注意
對(duì)于文本的讀寫操作，一定要放在循環(huán)外。同時(shí)加入一些去除超鏈接、<br>等機(jī)制
最后，我們?cè)谥骱瘮?shù)調(diào)用即可
完整代碼：
# -*- coding:utf-8 -*-import sysreload(sys)sys.setdefaultencoding('utf8')#爬蟲之網(wǎng)頁信息抓取#需要的函數(shù)方法：urllib,re,urllib2import urllibimport urllib2import re#測試函數(shù)->讀取#def test():# f=urllib.urlopen('http://www.baidu.com')# while True:# firstLine=f.readline()# print firstLine#針對(duì)于百度貼吧獲取前十頁樓主小說文本內(nèi)容class BDTB: def __init__(self,baseUrl,seeLZ): #成員變量 self.baseURL=baseUrl self.seeLZ='?see_lz='+str(seeLZ) #獲取該頁帖子的代碼 def getPage(self,pageNum): try: url=self.baseURL+self.seeLZ+'&pn='+str(pageNum) #創(chuàng)建request對(duì)象 request=urllib2.Request(url) response=urllib2.urlopen(request) #print 'URL:'+url return response.read() except Exception,e: print e #匹配標(biāo)題 def Title(self): html=self.getPage(1) #compile提高正則匹配效率 reg=re.compile(r'<title>(.*?)。') #返回list列表 items=re.findall(reg,html) f=open('output.txt','w+') item=('').join(items) f.write('/t/t/t/t/t'+item.encode('gbk')) f.close() #匹配正文 def Text(self,pageNum): html=self.getPage(pageNum) #compile提高正則匹配效率 reg=re.compile(r'"d_post_content j_d_post_content ">(.*?)</div>') #返回list列表 items=re.findall(reg,html) f=open('output.txt','a+') #[1:]切片，第一個(gè)元素不需要，去掉。 for i in items[1:]: #超鏈接去除 removeAddr=re.compile('<a.*?>|</a>') #用""替換 i=re.sub(removeAddr,"",i) #<br>去除 i=i.replace('<br>','') f.write('/n/n'+i.encode('gbk')) f.close()#調(diào)用入口baseURL='http://tieba.baidu.com/p/4638659116'bdtb=BDTB(baseURL,1)print '爬蟲正在啟動(dòng)....'.encode('gbk')#多頁bdtb.Title()print '抓取標(biāo)題完畢！'.encode('gbk')for i in range(1,11): print '正在抓取第%02d頁'.encode('gbk')%i bdtb.Text(i)print '抓取正文完畢!'.encode('gbk')希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
新聞熱點(diǎn)
疑難解答
圖片精選
