本文實例為大家分享了python爬取微信公眾號文章的具體代碼，供大家參考，具體內容如下
該方法是依賴于urllib2庫來完成的，首先你需要安裝好你的python環境，然后安裝urllib2庫
程序的起始方法(返回值是公眾號文章列表)：
def openUrl(): print("啟動爬蟲，打開搜狗搜索微信界面") # 加載頁面 url = 'http://weixin.sogou.com/weixin?type=1&s_from=input&query=要爬取的公眾號名稱' htmlContentObj = urllib2.urlopen(url) # 將頁面轉化為文本 html = htmlContentObj.read() # 正則匹配 str = re.findall(r"http://mp.weixin.qq.com/profile.+==",html) # 替換轉義符得到可訪問的鏈接地址 tempHref = re.sub(r"&","&",str[0]) return tempHref根據獲取到的文章列表的頁的鏈接地址（注意是文章列表頁面的得鏈接地址，不是文章的地址）將頁面讀取為文本
# 獲取頁面文本方法def getHtmlStr(conurl): # 相當于把頁面轉化為文本 response = urllib2.urlopen(conurl) # 讀取文本的字符串 htmlStr = response.read() return htmlStr
對讀取為文本的頁面進行分析并利用正則匹配獲得公眾號里面文章的標題，鏈接地址等內容得json對象
# 文本轉換為所需要的json對象def htmlToJsonObj(htmlStr): # 正則匹配并得到需要的json字符串 jsonObjstr = re.findall(r"{/"list/":/[.+/]/}", htmlStr) # 字符串轉json jsonObj = json.loads(jsonObjstr[len(jsonObjstr)-1]) return jsonObj然后從json對象中取出title，拼接url等（我這里只是獲取了鏈接地址和標題），將兩個內容分別存在兩個數組，以json對象的方式返回出去（注意拼接url的時候要替換掉轉義符（&））
# 從json對象中取出所需要的urldef jsonObjToArray(jsonObj): hrefs = [] titles = [] # url中的&在html中是& ，故需要替換，下面為正則 patten = re.compile(r"&") # 數組 arr = jsonObj["list"] # 循環添加 for i in range(len(arr)): # 每次替換字符串 fixHref = re.sub(patten,"&",arr[i]["app_msg_ext_info"]["content_url"]) # 添加到數組 titles.append(arr[i]["app_msg_ext_info"]["title"]) hrefs.append("https://mp.weixin.qq.com"+fixHref) jsons = {"hrefs":hrefs,"titles":titles} return jsons#打開瀏覽器，進行工作def start(): tempHref = openUrl() # 獲取頁面文本 htmlStr = getHtmlStr(tempHref) # 文本轉json對象 jsonObj = htmlToJsonObj(htmlStr) # f返回所需要的url數組 return jsonObjToArray(jsonObj)最后通過啟動程序的方法啟動爬蟲并打印爬取到的信息
if __name__=='__main__': try: hrefs = start() count = len(hrefs["hrefs"]) for i in range(count): print("標題："+hrefs["titles"][i].encode("utf-8")) print("爬取到的路徑："+hrefs["hrefs"][i].encode("utf-8")) print("------------->>爬取并打印完畢") except Exception as e: print(str(e))程序需要導入的包
import urllib2import jsonimport re
依次賦值以上代碼，填寫要爬取的公眾號，運行即可
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持VEVB武林網。
新聞熱點
疑難解答
