Python下載網頁的幾種方法

2019-11-14 17:41:54

字體：大中小

來源：轉載

供稿：網友

get和post方式總結

get方式：以URL字串本身傳遞數據參數，在服務器端可以從'QUERY_STRING'這個變量中直接讀取，效率較高，但缺乏安全性，也無法來處理復雜的數據（只能是字符串，比如在servlet/jsp中就無法處理發揮java的比如vector之類的功能）。

post方式：就傳輸方式講參數會被打包在數據報中傳輸，從CONTENT_LENGTH這個環境變量中讀取，便于傳送較大一些的數據，同時因為不暴露數據在瀏覽器的地址欄中，安全性相對較高，但這樣的處理效率會受到影響。

get 請求表示客戶端請求一個uri，服務器返回客戶端請求的uri，post請求表示客戶端請求的時候還要提交數據，比喻提交form表單，要提交的數據會放到請求報文的body部分。服務器收到后這樣的請求后通常需要來處理這些數據。

在Form里面，可以使用post也可以使用get。它們都是method的合法取值。但是，post和get方法在使用上至少有兩點不同：
1、Get方法通過URL請求來傳遞用戶的輸入。Post方法通過另外的形式。
2、Get方式的提交你需要用Request.QueryString來取得變量的值，而Post方式提交時，你必須通過Request.Form來訪問提交的內容。

仔細研究下面的代碼。你可以運行來感受一下：

<!--兩個Form只有Method屬性不同--><FORM ACTION="getpost.asp" METHOD="get"><INPUT TYPE="text" NAME="Text" VALUE="Hello World"></INPUT><INPUT TYPE="submit" VALUE="" Method="Get"></INPUT></FORM><BR><FORM ACTION="getpost.asp" METHOD="post"><INPUT TYPE="text" NAME="Text" VALUE="Hello World"></INPUT><INPUT TYPE="submit" VALUE="" Method="Post"></INPUT></FORM><BR><BR><% If Request.QueryString("Text") <> "" Then %>通過get方法傳遞來的字符串是： "<B><%= Request.QueryString("Text") %></B>"<BR><% End If %><% If Request.Form("Text") <> "" Then %>通過Post方法傳遞來的字符串是： "<B><%= Request.Form("Text") %></B>"<BR><% End If %>

把上面的代碼保存為getpost.asp，然后運行，首先測試post方法，這時候，瀏覽器的url并沒有什么變化，返回的結果是：
通過Post方法傳遞來的字符串是： "Hello World"
然后測試用get方法提交，請注意，瀏覽器的url變成了：
http://localhost/general/form/getpost.asp?Text=Hello+World
而返回的結果是：
通過get方法傳遞來的字符串是： "Hello World"
最后再通過post方法提交，瀏覽器的url還是：
http://localhost/general/form/getpost.asp?Text=Hello+World
而返回的結果變成：
通過get方法傳遞來的字符串是： "Hello World"
通過Post方法傳遞來的字符串是： "Hello World"

提示：通過get方法提交數據，可能會帶來安全性的問題。比如一個登陸頁面。當通過get方法提交數據時，用戶名和密碼將出現在URL上。如果：
１、登陸頁面可以被瀏覽器緩存；２、其他人可以訪問客戶的這臺機器。
那么，別人即可以從瀏覽器的歷史記錄中，讀取到此客戶的賬號和密碼。所以，在某些情況下，get方法會帶來嚴重的安全性問題。建議在Form中，建議使用post方法。

Python下載網頁的幾種方法

通過get的方法：

fd = urllib2.urlopen(url_link)data = fd.read()

使用get方式時，url類似如下格式：

index.jsp?id=100&op=bind

GET報問頭如下：

GET /sn/index.php?sn=123&n=asa HTTP/1.1Accept: */*Accept-Language: zh-cnhost: localhostContent-Type: application/x-www-form-urlencodedContent-Length: 12 Connection:close

get方法還可以通過如下方式實現：

def GetHtmlSource_Get(htmurl):    htmSource = ""    try:        urlx = httplib.urlsplit(htmurl)        conn = httplib.HTTPConnection(urlx.netloc)        conn.connect()    #建立連接        conn.putrequest("GET", htmurl, None)    #請求類型        conn.putheader("Content-Length", 0)        conn.putheader("Connection", "close")        conn.endheaders()                res = conn.getresponse()        htmSource = res.read()    except Exception(), err:        trackback.PRint_exec()        conn.close()      return htmSource

使用post方式時，POST方法將請求參數封裝在HTTP請求數據中，以名稱/值的形式出現，可以傳輸大量數據，可用來傳送文件。POST報文頭如下：

POST /sn/index.php HTTP/1.1Accept: */*Accept-Language: zh-cnhost: localhostContent-Type: application/x-www-form-urlencodedContent-Length: 12Connection:closesn=123&n=asa

無論是post還是get方式，他們所傳遞的數據都要進行url編碼。每對name/value由&符分開；每對來自表單的name/value由=符分開；如果用戶沒有輸入值給這個name，那么這個name還是出現，只是無值。；任何特殊的字符（就是那些不是簡單的七位ASCII，如漢字）將以百分符%用十六進制編碼。urllib庫提供了一個函數來實現url的編碼：

search=urllib.urlencode({'q'：'python'})#'q=python'

通過post發送請求：

import httplib,urllib; #定義需要進行發送的數據    params = urllib.urlencode({'cat_id':'6',                                'news_title':'標題-Test39875',                                'news_author':'Mobedu',                                'news_ahome':'來源',                                'tjuser':'carchanging',                                'news_keyWord':'|',                                'news_content':'測試-Content',                                'action':'newnew',                                'MM_insert':'true'});     #定義一些文件頭    headers = {"Content-Type":"application/x-www-form-urlencoded",                "Connection":"Keep-Alive",
           "Referer":"http://192.168.1.212/newsadd.asp?action=newnew"};     #與網站構建一個連接    conn = httplib.HTTPConnection("192.168.1.212");     #開始進行數據提交   同時也可以使用get進行    conn.request(method="POST",url="/newsadd.asp?action=newnew",body=params,headers=headers);     #返回處理后的數據response = conn.getresponse();     #判斷是否提交成功    if response.status == 302:         print "發布成功!";     else:         print "發布失敗";     #關閉連接    conn.close();

也可以類似于get方法來實現：

def GetHtmlSource_Post(getString):    htmSource = ""    try:        url = httplib.urlsplit("http://app.sipo.gov.cn:8080")        conn = httplib.HTTPConnection(url.netloc)        conn.connect()        conn.putrequest("POST", "/sipo/zljs/hyjs-jieguo.jsp")    #post方法        conn.putheader("Content-Length", len(getString))        conn.putheader("Content-Type", "application/x-www-form-urlencoded")        conn.putheader("Connection", " Keep-Alive")        conn.endheaders()        conn.send(getString)    #Http包的body                f = conn.getresponse()        if not f:            raise socket.error, "timed out"        htmSource = f.read()        f.close()        conn.close()    except Exception(), err:        trackback.print_exec()        conn.close()    return htmSource