国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

零基礎寫python爬蟲之HTTP異常處理

2019-11-25 18:07:08
字體:
供稿:網(wǎng)友

先來說一說HTTP的異常處理問題。
當urlopen不能夠處理一個response時,產(chǎn)生urlError。
不過通常的Python APIs異常如ValueError,TypeError等也會同時產(chǎn)生。
HTTPError是urlError的子類,通常在特定HTTP URLs中產(chǎn)生。

1.URLError
通常,URLError在沒有網(wǎng)絡連接(沒有路由到特定服務器),或者服務器不存在的情況下產(chǎn)生。
這種情況下,異常同樣會帶有"reason"屬性,它是一個tuple(可以理解為不可變的數(shù)組),
包含了一個錯誤號和一個錯誤信息。
我們建一個urllib2_test06.py來感受一下異常的處理:

復制代碼 代碼如下:

import urllib2 
req = urllib2.Request('http://www.baibai.com') 
try: urllib2.urlopen(req) 
except urllib2.URLError, e:   
    print e.reason 

按下F5,可以看到打印出來的內(nèi)容是:
[Errno 11001] getaddrinfo failed
也就是說,錯誤號是11001,內(nèi)容是getaddrinfo failed

2.HTTPError

服務器上每一個HTTP 應答對象response包含一個數(shù)字"狀態(tài)碼"。
有時狀態(tài)碼指出服務器無法完成請求。默認的處理器會為你處理一部分這種應答。
例如:假如response是一個"重定向",需要客戶端從別的地址獲取文檔,urllib2將為你處理。
其他不能處理的,urlopen會產(chǎn)生一個HTTPError。
典型的錯誤包含"404"(頁面無法找到),"403"(請求禁止),和"401"(帶驗證請求)。
HTTP狀態(tài)碼表示HTTP協(xié)議所返回的響應的狀態(tài)。
比如客戶端向服務器發(fā)送請求,如果成功地獲得請求的資源,則返回的狀態(tài)碼為200,表示響應成功。
如果請求的資源不存在, 則通常返回404錯誤。

HTTP狀態(tài)碼通常分為5種類型,分別以1~5五個數(shù)字開頭,由3位整數(shù)組成:
------------------------------------------------------------------------------------------------
200:請求成功      處理方式:獲得響應的內(nèi)容,進行處理
201:請求完成,結(jié)果是創(chuàng)建了新資源。新創(chuàng)建資源的URI可在響應的實體中得到    處理方式:爬蟲中不會遇到
202:請求被接受,但處理尚未完成    處理方式:阻塞等待
204:服務器端已經(jīng)實現(xiàn)了請求,但是沒有返回新的信 息。如果客戶是用戶代理,則無須為此更新自身的文檔視圖。    處理方式:丟棄
300:該狀態(tài)碼不被HTTP/1.0的應用程序直接使用, 只是作為3XX類型回應的默認解釋。存在多個可用的被請求資源。    處理方式:若程序中能夠處理,則進行進一步處理,如果程序中不能處理,則丟棄
301:請求到的資源都會分配一個永久的URL,這樣就可以在將來通過該URL來訪問此資源    處理方式:重定向到分配的URL
302:請求到的資源在一個不同的URL處臨時保存     處理方式:重定向到臨時的URL
304 請求的資源未更新     處理方式:丟棄
400 非法請求     處理方式:丟棄
401 未授權     處理方式:丟棄
403 禁止     處理方式:丟棄
404 沒有找到     處理方式:丟棄
5XX 回應代碼以“5”開頭的狀態(tài)碼表示服務器端發(fā)現(xiàn)自己出現(xiàn)錯誤,不能繼續(xù)執(zhí)行請求    處理方式:丟棄
------------------------------------------------------------------------------------------------

HTTPError實例產(chǎn)生后會有一個整型'code'屬性,是服務器發(fā)送的相關錯誤號。

Error Codes錯誤碼

因為默認的處理器處理了重定向(300以外號碼),并且100-299范圍的號碼指示成功,所以你只能看到400-599的錯誤號碼。
BaseHTTPServer.BaseHTTPRequestHandler.response是一個很有用的應答號碼字典,顯示了HTTP協(xié)議使用的所有的應答號。
當一個錯誤號產(chǎn)生后,服務器返回一個HTTP錯誤號,和一個錯誤頁面。
你可以使用HTTPError實例作為頁面返回的應答對象response。
這表示和錯誤屬性一樣,它同樣包含了read,geturl,和info方法。
我們建一個urllib2_test07.py來感受一下:

復制代碼 代碼如下:

import urllib2 
req = urllib2.Request('//m.survivalescaperooms.com/callmewhy') 
try: 
    urllib2.urlopen(req) 
except urllib2.URLError, e: 
    print e.code 
    #print e.read() 

按下F5可以看見輸出了404的錯誤碼,也就說沒有找到這個頁面。

3.Wrapping

所以如果你想為HTTPError或URLError做準備,將有兩個基本的辦法。推薦使用第二種。
我們建一個urllib2_test08.py來示范一下第一種異常處理的方案:

復制代碼 代碼如下:

from urllib2 import Request, urlopen, URLError, HTTPError 
req = Request('//m.survivalescaperooms.com/callmewhy') 
try: 
    response = urlopen(req) 
except HTTPError, e: 
    print 'The server couldn/'t fulfill the request.' 
    print 'Error code: ', e.code 
except URLError, e: 
    print 'We failed to reach a server.' 
    print 'Reason: ', e.reason 
else: 
    print 'No exception was raised.' 
    # everything is fine 

和其他語言相似,try之后捕獲異常并且將其內(nèi)容打印出來。
這里要注意的一點,except HTTPError 必須在第一個,否則except URLError將同樣接受到HTTPError 。
因為HTTPError是URLError的子類,如果URLError在前面它會捕捉到所有的URLError(包括HTTPError )。

我們建一個urllib2_test09.py來示范一下第二種異常處理的方案:

復制代碼 代碼如下:

from urllib2 import Request, urlopen, URLError, HTTPError 
req = Request('//m.survivalescaperooms.com/callmewhy') 
try:   
    response = urlopen(req)   
except URLError, e:   
    if hasattr(e, 'code'):   
        print 'The server couldn/'t fulfill the request.'   
        print 'Error code: ', e.code   
    elif hasattr(e, 'reason'):   
        print 'We failed to reach a server.'   
        print 'Reason: ', e.reason   
else:   
    print 'No exception was raised.'   
    # everything is fine   

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 乐陵市| 沙湾县| 黔西县| 东台市| 延边| 治县。| 江阴市| 册亨县| 化隆| 正宁县| 乐亭县| 乌鲁木齐市| 白河县| 阿坝县| 丹棱县| 淅川县| 延寿县| 保山市| 南阳市| 全州县| 达拉特旗| 荥经县| 略阳县| 香格里拉县| 平邑县| 金沙县| 扶绥县| 墨玉县| 桂林市| 镇康县| 威海市| 东海县| 应用必备| 揭西县| 广丰县| 延津县| 易门县| 荔浦县| 抚松县| 满洲里市| 车险|