国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

用Python程序抓取網頁的HTML信息的一個小實例

2020-02-23 01:02:18
字體:
來源:轉載
供稿:網友

抓取網頁數據的思路有好多種,一般有:直接代碼請求http、模擬瀏覽器請求數據(通常需要登錄驗證)、控制瀏覽器實現數據抓取等。這篇不考慮復雜情況,放一個讀取簡單網頁數據的小例子:
目標數據

將ittf網站上這個頁面上所有這些選手的超鏈接保存下來。

201552150315618.png (600×587)

數據請求

真的很喜歡符合人類思維的庫,比如requests,如果是要直接拿網頁文本,一句話搞定:

doc = requests.get(url).text

解析html獲得數據

以beautifulsoup為例,包含獲取標簽、鏈接,以及根據html層次結構遍歷等方法。參考見這里。下面這個片段,從ittf網站上獲取指定頁面上指定位置的鏈接。

url = 'http://www.ittf.com/ittf_ranking/WR_Table_3_A2.asp?Age_category_1=&Age_category_2=&Age_category_3=&Age_category_4=&Age_category_5=&Category=100W&Cont=&Country=&Gender=W&Month1=4&Year1=2015&s_Player_Name=&Formv_WR_Table_3_Page='+str(page)doc = requests.get(url).textsoup = BeautifulSoup(doc)atags = soup.find_all('a')rank_link_pre = 'http://www.ittf.com/ittf_ranking/'mlfile = open(linkfile,'a')for atag in atags:  #print atag  if atag!=None and atag.get('href') != None:    if "WR_Table_3_A2_Details.asp" in atag['href']:      link = rank_link_pre + atag['href']      links.append(link)      mlfile.write(link+'/n')      print 'fetch link: '+linkmlfile.close()

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 汕头市| 米泉市| 大同市| 冷水江市| 从江县| 潢川县| 扎囊县| 滦南县| 建平县| 五寨县| 克拉玛依市| 北宁市| 阿巴嘎旗| 永川市| 潮州市| 阿克苏市| 白水县| 察雅县| 无锡市| 汉源县| 扎鲁特旗| 晋江市| 红安县| 共和县| 肥城市| 永济市| 承德市| 鄂托克旗| 平远县| 安岳县| 绵阳市| 福州市| 绥芬河市| 缙云县| 秦安县| 台山市| 兴山县| 绥宁县| 汝阳县| 阆中市| 绥宁县|