国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python構建基礎的爬蟲教學

2020-01-04 13:44:05
字體:
來源:轉載
供稿:網友

爬蟲具有域名切換、信息收集以及信息存儲功能。

這里講述如何構建基礎的爬蟲架構。

1、

 
urllib庫:包含從網絡請求數據、處理cookie、改變請求頭和用戶處理元數據的函數。是python標準庫.urlopen用于打開讀取一個從網絡獲取的遠程對象。能輕松讀取HTML文件、圖像文件及其他文件流。

 

 

 
2、
 
beautifulsoup庫:通過定位HTML標簽格式化和組織復雜的網絡信息,用python對象展現XML結構信息。不是標準庫,可用pip安裝。常用的對象是BeautifulSoup對象。
 

 

1、基礎爬蟲

爬蟲需要首先import對象,然后打開網址,使用BeautifulSoup對網頁內容進行讀取。

python,爬蟲

2、使用print輸出打開的網址的內容。

python,爬蟲

3、從輸出中可以看出內容的結構為:

python,爬蟲

4、輸出內容中的html-body-h1的內容可使用四種語句。

python,爬蟲

python,爬蟲

5、

 
BeautifulSoup可提取HTML、XML文件的任意節點的信息,只需要目標信息旁邊或附近有標記。
 

 

1、Error

 
在運行代碼時,經常會出現錯誤,看懂錯誤出現的原因才能解決存在的問題。
 

 

2、

 
在html=urlopen('')中會發生兩種錯誤:網頁在服務器上不存在或服務器不存在
 

 

3、網頁在服務器上不存在會出現HTTPError,可使用try語句進行處理。

當程序返回HTTPError錯誤代碼時,會顯示錯誤內容。

python,爬蟲

4、服務器不存在時,urlopen會返回None.

可使用判斷語句進行檢測。

調用的標簽不存在會出現None,調用不存在的標簽下的子標簽,就會出現AttributeError錯誤。

python,爬蟲

總結:以上就是關于python構建基礎的爬蟲的基礎步驟內容,感謝大家的閱讀和對VEVB武林網的支持。


注:相關教程知識閱讀請移步到python教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 潢川县| 石台县| 潢川县| 察雅县| 女性| 中牟县| 济南市| 永靖县| 南陵县| 榆社县| 龙海市| 黄石市| 泗洪县| 安福县| 兴城市| 依兰县| 汤原县| 纳雍县| 玛曲县| 株洲市| 措勤县| 辽阳市| 阳春市| 北宁市| 淮阳县| 嘉禾县| 林周县| 沽源县| 奈曼旗| 松桃| 开化县| 苏尼特右旗| 永城市| 通城县| 广州市| 常山县| 麻栗坡县| 阳谷县| 岑巩县| 工布江达县| 平和县|