寫一個爬蟲首先就是學會設置請求頭header,這樣才可以偽裝成瀏覽器。下面小編我就來給大家簡單分析一下python3怎樣構建一個爬蟲的請求頭header。
1、python3跟2有了細微差別,所以我們先要引入request,python2沒有這個request哦。然后復制網址給url,然后用一個字典來保存header,這個header怎么來的?看第2步。
2、打開任意瀏覽器某一頁面(要聯網),按f12,然后點network,之后再按f5,然后就會看到“name”這里,我們點擊name里面的任意文件即可。
3、之后右邊有一個headers,點擊headers找到request headers,這個就是瀏覽器的請求報頭了。
4、然后復制其中的user-agent,其他的cookie還有Accept可以要也可以不要,主要是偽裝成瀏覽器,所以我就用了user-agent
5、接著再用Request方法把url和headers組合在一起就可以構造一個比較簡單的請求了。Request有三個參數(url,data,headers),如果有使用data就是post請求了,沒有就是get請求。這里我沒有data,所以我就指定headers=header,不然header就會被當成data了。
6、請求對象rq就構造好了,然后用urlopen發送這個請求對象就可以了。這就是簡單的請求頭設置了。
總結:以上就是關于python3爬蟲怎樣構建請求頭的相關知識點,感謝大家的閱讀和對VEVB武林網的支持。
新聞熱點
疑難解答