国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python3使用requests包抓取并保存網(wǎng)頁源碼的方法

2020-01-04 17:36:34
字體:
供稿:網(wǎng)友
這篇文章主要介紹了Python3使用requests包抓取并保存網(wǎng)頁源碼的方法,實例分析了Python3環(huán)境下requests模塊的相關(guān)使用技巧,需要的朋友可以參考下
 

本文實例講述了Python3使用requests包抓取并保存網(wǎng)頁源碼的方法。分享給大家供大家參考,具體如下:

使用Python 3的requests模塊抓取網(wǎng)頁源碼并保存到文件示例:

import requestshtml = requests.get("http://www.baidu.com")with open('test.txt','w',encoding='utf-8') as f: f.write(html.text)

這是一個基本的文件保存操作,但這里有幾個值得注意的問題:

1.安裝requests包,命令行輸入pip install requests即可自動安裝。很多人推薦使用requests,自帶的urllib.request也可以抓取網(wǎng)頁源碼

2.open方法encoding參數(shù)設(shè)為utf-8,否則保存的文件會出現(xiàn)亂碼。

3.如果直接在cmd中輸出抓取的內(nèi)容,會提示各種編碼錯誤,所以保存到文件查看。

4.with open方法是更好的寫法,可以自動操作完畢后釋放資源。

另一個例子:

import requestsff = open('testt.txt','w',encoding='utf-8')with open('test.txt',encoding="utf-8") as f: for line in f: ff.write(line)ff.close()

這是演示讀取一個txt文件,每次讀取一行,并保存到另一個txt文件中的示例。

因為在命令行中打印每次讀取一行的數(shù)據(jù),中文會出現(xiàn)編碼錯誤,所以每次讀取一行并保存到另一個文件,這樣來測試讀取是否正常。(注意open的時候制定encoding編碼方式)

轉(zhuǎn)自:小談博客 http://www.tantengvip.com/2015/05/requests-html/

希望本文所述對大家Python程序設(shè)計有所幫助。


發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 苏州市| 平泉县| 鄯善县| 涡阳县| 根河市| 临洮县| 虎林市| 宝丰县| 福泉市| 宜兰县| 尚义县| 夏河县| 洪洞县| 石泉县| 绥阳县| 洪湖市| 常德市| 阿拉善左旗| 桂林市| 株洲市| 临海市| 东莞市| 东至县| 义乌市| 苏州市| 四子王旗| 岐山县| 军事| 青龙| 温泉县| 杂多县| 收藏| 耒阳市| 津南区| 黄石市| 灌云县| 遂平县| 利辛县| 容城县| 阿瓦提县| 宣武区|