使用HTMLParser解析html

前幾天遇到一個問題,需要把網頁中的一部分內容挑出來,于是找到了urllib和HTMLParser兩個庫.urllib可以將網頁爬下來,然后交由HTMLParser解析,初次使用這個庫,在查官方文檔時也遇到了一些問題,在這里寫下來與大家分享.

一個例子

from HTMLParser import HTMLParserclass MyHTMLParser(HTMLParser):  def handle_starttag(self, tag, attrs):    PRint "a start tag:",tag,self.getpos()parser=MyHTMLParser()parser.feed('<div><p>"hello"</p></div>') 

這個例子里HTMLParser是基類,重載了他的handle_starttag方法,輸出了一些信息.parser是MyHTMLParser的實例,調用feed方法開始解析函數.值得注意的是,不需要顯示調用handle_starttag方法就會執行.

HTMLParser方法的調用方式困惑了我很長時間,看了很多博文才恍然大悟,HTMLParser含有的方法分為兩類,一類是需要顯式調用的,而另一類不需顯示調用.

不需顯式調用的方法

下面的這些函數在解析的過程中會觸發,但是默認情況下不會產生任何副作用,因而我們要根據自己的需求重載.

• HTMLParser.handle_starttag(tag,attrs): 解析時遇到開始標簽調用,如<p class='para'>,參數tag是標簽名,這里是'p',attrs為標簽所有屬性(name,value)列表,這里是[('class','para')]

• HTMLParser.handle_endtag(tag): 遇到結束標簽時調用,tag是標簽名

• HTMLPars.handle_data(data): 遇到標簽中間的內容時調用,如<style> p {color: blue; }</style>,參數data為開閉標簽間的內容.值得注意的是在形如<div><p>...</p></div>的位置,并不會在div處調用,而是只在p處調用

當然還有其他函數,這里不做介紹

顯式調用的方法

• HTMLParser.feed(data): 參數為需要解析的html字符串,調用后字符串開始被解析

• HTMLParser.getpos(): 返回當前的行號和偏移位置,如(23,5)

• HTMLParser.get_starttag_text(): 返回當前位置最近的開始標簽的內容
  

• ...

所有的內容寫完了,最后還有一點注意事項,HTMLParser只是一個簡單的模塊,解析html的功能并不完善,例如不能準確的分別開標簽和"自閉標簽",看下面代碼:

from HTMLParser import HTMLParserclass MyHTMLParser(HTMLParser):  def handle_starttag(self,tag,attrs):    print 'begin tag',tag  def handle_startendtag(self,tag,attrs):    print 'begin end tag',tagstr1='<br>'str2='<br/>'parser=MyHTMLParser()parser.feed(str1)    # 輸出 "begin tag br"parser.feed(str2)    # 輸出 "begin end br"