寫一個爬蟲首先就是學(xué)會設(shè)置請求頭header,這樣才可以偽裝成瀏覽器。下面小編我就來給大家簡單分析一下python3怎樣構(gòu)建一個爬蟲的請求頭header。
1、python3跟2有了細(xì)微差別,所以我們先要引入request,python2沒有這個request哦。然后復(fù)制網(wǎng)址給url,然后用一個字典來保存header,這個header怎么來的?看第2步。

2、打開任意瀏覽器某一頁面(要聯(lián)網(wǎng)),按f12,然后點network,之后再按f5,然后就會看到“name”這里,我們點擊name里面的任意文件即可。

3、之后右邊有一個headers,點擊headers找到request headers,這個就是瀏覽器的請求報頭了。

4、然后復(fù)制其中的user-agent,其他的cookie還有Accept可以要也可以不要,主要是偽裝成瀏覽器,所以我就用了user-agent

5、接著再用Request方法把url和headers組合在一起就可以構(gòu)造一個比較簡單的請求了。Request有三個參數(shù)(url,data,headers),如果有使用data就是post請求了,沒有就是get請求。這里我沒有data,所以我就指定headers=header,不然header就會被當(dāng)成data了。

6、請求對象rq就構(gòu)造好了,然后用urlopen發(fā)送這個請求對象就可以了。這就是簡單的請求頭設(shè)置了。

總結(jié):以上就是關(guān)于python3爬蟲怎樣構(gòu)建請求頭的相關(guān)知識點,感謝大家的閱讀和對武林站長站的支持。
新聞熱點
疑難解答