本文實(shí)例講述了Python爬蟲(chóng)實(shí)現(xiàn)網(wǎng)頁(yè)信息抓取功能。分享給大家供大家參考，具體如下：
首先實(shí)現(xiàn)關(guān)于網(wǎng)頁(yè)解析、讀取等操作我們要用到以下幾個(gè)模塊
import urllibimport urllib2import re
我們可以嘗試一下用readline方法讀某個(gè)網(wǎng)站，比如說(shuō)百度
def test(): f=urllib.urlopen('http://www.baidu.com') while True: firstLine=f.readline() print firstLine下面我們說(shuō)一下如何實(shí)現(xiàn)網(wǎng)頁(yè)信息的抓取，比如說(shuō)百度貼吧
我們大概要做幾件事情：
首先獲取網(wǎng)頁(yè)及其代碼，這里我們要實(shí)現(xiàn)多頁(yè)，即其網(wǎng)址會(huì)改變，我們傳遞一個(gè)頁(yè)數(shù)
def getPage(self,pageNum): try: url=self.baseURL+self.seeLZ+'&pn='+str(pageNum) #創(chuàng)建request對(duì)象 request=urllib2.Request(url) response=urllib2.urlopen(request) #print 'URL:'+url return response.read() except Exception,e: print e
之后我們要獲取小說(shuō)內(nèi)容，這里咱們分為標(biāo)題和正文。標(biāo)題每頁(yè)都有，所以我們獲取一次就好了。
我們可以點(diǎn)擊某網(wǎng)站，按f12查看他的標(biāo)題標(biāo)簽是如何構(gòu)造的，比如說(shuō)百度貼吧是<title>…………
那我們就匹配reg=re.compile(r'<title>(.*?)。')來(lái)抓取這個(gè)信息
標(biāo)題抓取完我們要開(kāi)始抓去正文了，我們知道正文會(huì)有很多段，所以我們要循環(huán)的去抓取整個(gè)items，這里我們注意
對(duì)于文本的讀寫(xiě)操作，一定要放在循環(huán)外。同時(shí)加入一些去除超鏈接、<br>等機(jī)制
最后，我們?cè)谥骱瘮?shù)調(diào)用即可
完整代碼：
# -*- coding:utf-8 -*-import sysreload(sys)sys.setdefaultencoding('utf8')#爬蟲(chóng)之網(wǎng)頁(yè)信息抓取#需要的函數(shù)方法：urllib,re,urllib2import urllibimport urllib2import re#測(cè)試函數(shù)->讀取#def test():# f=urllib.urlopen('http://www.baidu.com')# while True:# firstLine=f.readline()# print firstLine#針對(duì)于百度貼吧獲取前十頁(yè)樓主小說(shuō)文本內(nèi)容class BDTB: def __init__(self,baseUrl,seeLZ): #成員變量 self.baseURL=baseUrl self.seeLZ='?see_lz='+str(seeLZ) #獲取該頁(yè)帖子的代碼 def getPage(self,pageNum): try: url=self.baseURL+self.seeLZ+'&pn='+str(pageNum) #創(chuàng)建request對(duì)象 request=urllib2.Request(url) response=urllib2.urlopen(request) #print 'URL:'+url return response.read() except Exception,e: print e #匹配標(biāo)題 def Title(self): html=self.getPage(1) #compile提高正則匹配效率 reg=re.compile(r'<title>(.*?)。') #返回list列表 items=re.findall(reg,html) f=open('output.txt','w+') item=('').join(items) f.write('/t/t/t/t/t'+item.encode('gbk')) f.close() #匹配正文 def Text(self,pageNum): html=self.getPage(pageNum) #compile提高正則匹配效率 reg=re.compile(r'"d_post_content j_d_post_content ">(.*?)</div>') #返回list列表 items=re.findall(reg,html) f=open('output.txt','a+') #[1:]切片，第一個(gè)元素不需要，去掉。 for i in items[1:]: #超鏈接去除 removeAddr=re.compile('<a.*?>|</a>') #用""替換 i=re.sub(removeAddr,"",i) #<br>去除 i=i.replace('<br>','') f.write('/n/n'+i.encode('gbk')) f.close()#調(diào)用入口baseURL='http://tieba.baidu.com/p/4638659116'bdtb=BDTB(baseURL,1)print '爬蟲(chóng)正在啟動(dòng)....'.encode('gbk')#多頁(yè)bdtb.Title()print '抓取標(biāo)題完畢！'.encode('gbk')for i in range(1,11): print '正在抓取第%02d頁(yè)'.encode('gbk')%i bdtb.Text(i)print '抓取正文完畢!'.encode('gbk')PS：這里再為大家提供2款非常方便的正則表達(dá)式工具供大家參考使用：
JavaScript正則表達(dá)式在線測(cè)試工具：
http://tools.VeVB.COm/regex/javascript
正則表達(dá)式在線生成工具：
http://tools.VeVB.COm/regex/create_reg
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專(zhuān)題：《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python Socket編程技巧總結(jié)》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門(mén)與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
新聞熱點(diǎn)
疑難解答
圖片精選
