国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python爬蟲_微信公眾號推送信息爬取的實例

2020-01-04 16:38:22
字體:
來源:轉載
供稿:網友

問題描述

利用搜狗的微信搜索抓取指定公眾號的最新一條推送,并保存相應的網頁至本地。

注意點

搜狗微信獲取的地址為臨時鏈接,具有時效性。

公眾號為動態網頁(JavaScript渲染),使用requests.get()獲取的內容是不含推送消息的,這里使用selenium+PhantomJS處理

代碼

#! /usr/bin/env python3from selenium import webdriverfrom datetime import datetimeimport bs4, requestsimport os, time, sys# 獲取公眾號鏈接def getAccountURL(searchURL): res = requests.get(searchURL) res.raise_for_status() soup = bs4.BeautifulSoup(res.text, "lxml") # 選擇第一個鏈接 account = soup.select('a[uigs="account_name_0"]') return account[0]['href']# 獲取首篇文章的鏈接,如果有驗證碼返回Nonedef getArticleURL(accountURL): browser = webdriver.PhantomJS("/Users/chasechoi/Downloads/phantomjs-2.1.1-macosx/bin/phantomjs") # 進入公眾號 browser.get(accountURL) # 獲取網頁信息 html = browser.page_source accountSoup = bs4.BeautifulSoup(html, "lxml") time.sleep(1) contents = accountSoup.find_all(hrefs=True) try:  partitialLink = contents[0]['hrefs']  firstLink = base + partitialLink except IndexError:  firstLink = None   print('CAPTCHA!') return firstLink# 創建文件夾存儲html網頁,以時間命名def folderCreation(): path = os.path.join(os.getcwd(), datetime.now().strftime('%Y-%m-%d_%H-%M-%S')) try:  os.makedirs(path) except OSError as e:  if e.errno != errno.EEXIST:   raise  print("folder not exist!") return path# 將html頁面寫入本地def writeToFile(path, account, title): myfile = open("{}/{}_{}.html".format(path, account, title), 'wb') myfile.write(res.content) myfile.close()base ='https://mp.weixin.qq.com'accountList = ['央視新聞', '新浪新聞','鳳凰新聞','羊城晚報']query = 'http://weixin.sogou.com/weixin?type=1&s_from=input&query='path = folderCreation()for index, account in enumerate(accountList): searchURL = query + account accountURL = getAccountURL(searchURL) time.sleep(10) articleURL = getArticleURL(accountURL) if articleURL != None:  print("#{}({}/{}): {}".format(account, index+1, len(accountList), accountURL))  # 讀取第一篇文章內容  res = requests.get(articleURL)  res.raise_for_status()  detailPage = bs4.BeautifulSoup(res.text, "lxml")  print("標題: {}/n鏈接: {}/n".format(title, articleURL))  writeToFile(path, account, title) else:  print('{} files successfully written to {}'.format(index, path))  sys.exit()print('{} files successfully written to {}'.format(len(accountList), path))

參考輸出

Terminal輸出

微信公眾號,推送信息,爬取,python

Finder

微信公眾號,推送信息,爬取,python

分析

鏈接獲取

首先進入搜狗的微信搜索頁面,在地址欄中提取需要的部分鏈接,字符串連接公眾號名稱,即可生成請求鏈接

針對靜態網頁,利用requests獲取html文件,再用BeautifulSoup選擇需要的內容

針對動態網頁,利用selenium+PhantomJS獲取html文件,再用BeautifulSoup選擇需要的內容

遇到驗證碼(CAPTCHA),輸出提示。此版本代碼沒有對驗證碼做實際處理,需要人為訪問后,再跑程序,才能避開驗證碼。

文件寫入

使用os.path.join()構造存儲路徑可以提高通用性。比如Windows路徑分隔符使用back slash(/), 而OS X 和 Linux使用forward slash(/),通過該函數能根據平臺進行自動轉換。

open()使用b(binary mode)參數同樣為了提高通用性(適應Windows)

使用datetime.now()獲取當前時間進行命名,并通過strftime()格式化時間(函數名中的f代表format),

具體使用參考下表(摘自 Automate the Boring Stuff with Python)

微信公眾號,推送信息,爬取,python

以上這篇python爬蟲_微信公眾號推送信息爬取的實例就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持VEVB武林網。


注:相關教程知識閱讀請移步到python教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 滨海县| 凤凰县| 洛宁县| 敦煌市| 浦县| 二连浩特市| 深水埗区| 循化| 神农架林区| 平乡县| 武平县| 双峰县| 荔波县| 林西县| 梨树县| 平遥县| 博野县| 贡嘎县| 桐柏县| 库伦旗| 遂川县| 竹北市| 盐城市| 墨竹工卡县| 衢州市| 东丰县| 汨罗市| 新野县| 来安县| 封开县| 泗水县| 渝北区| 龙州县| 松原市| 金湖县| 远安县| 贵定县| 井冈山市| 塘沽区| 东莞市| 上思县|