国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python3使用requests包抓取并保存網頁源碼的方法

2019-11-25 16:52:46
字體:
來源:轉載
供稿:網友

本文實例講述了Python3使用requests包抓取并保存網頁源碼的方法。分享給大家供大家參考,具體如下:

使用Python 3的requests模塊抓取網頁源碼并保存到文件示例:

import requestshtml = requests.get("http://www.baidu.com")with open('test.txt','w',encoding='utf-8') as f: f.write(html.text)

這是一個基本的文件保存操作,但這里有幾個值得注意的問題:

1.安裝requests包,命令行輸入pip install requests即可自動安裝。很多人推薦使用requests,自帶的urllib.request也可以抓取網頁源碼

2.open方法encoding參數設為utf-8,否則保存的文件會出現亂碼。

3.如果直接在cmd中輸出抓取的內容,會提示各種編碼錯誤,所以保存到文件查看。

4.with open方法是更好的寫法,可以自動操作完畢后釋放資源。

另一個例子:

import requestsff = open('testt.txt','w',encoding='utf-8')with open('test.txt',encoding="utf-8") as f: for line in f: ff.write(line)ff.close()

這是演示讀取一個txt文件,每次讀取一行,并保存到另一個txt文件中的示例。

因為在命令行中打印每次讀取一行的數據,中文會出現編碼錯誤,所以每次讀取一行并保存到另一個文件,這樣來測試讀取是否正常。(注意open的時候制定encoding編碼方式)

轉自:小談博客 http://www.tantengvip.com/2015/05/requests-html/

希望本文所述對大家Python程序設計有所幫助。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 离岛区| 克拉玛依市| 金塔县| 灵宝市| 南充市| 东莞市| 介休市| 涿州市| 常州市| 铜川市| 隆尧县| 泰安市| 普陀区| 五指山市| 高淳县| 渑池县| 锡林郭勒盟| 舞阳县| 汝州市| 凤庆县| 监利县| 延吉市| 平乡县| 象州县| 德兴市| 皮山县| 龙江县| 乐陵市| 吴川市| 神农架林区| 红桥区| 黄浦区| 行唐县| 景东| 靖州| 香格里拉县| 勐海县| 准格尔旗| 喜德县| 林州市| 五华县|