国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python爬蟲通過替換http request header來欺騙瀏覽器實現登錄功能

2020-02-16 11:30:04
字體:
來源:轉載
供稿:網友

以豆瓣為例,訪問https://www.douban.com/contacts/list 來查看自己關注的人,要登錄才能查看。

如果用requests.get()方法獲取這個http,沒登錄只能抓取回一個登錄界面,所以我們要用Python登錄網站才能抓取想要的網頁。

一個簡便的方法就是自己在瀏覽器上登錄好,然后通過下圖方法(Chrome為例),找到自己的Cookie和User-Agent,然后發送request時用這復制來的header替換掉待發送的request以達到登錄的目的,server端會憑這個認為你是已經登錄的用戶。

代碼如下:

import requestsheaders = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36', 'Cookie':'gr_user_id=1f9ea7ea-462a-4a6f-9d55-156631fc6d45; bid=vPYpmmD30-k; ll="118282"; ue="codin; __utmz=30149280.1499577720.27.14.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/doulist/240962/; __utmv=30149280.3049; _vwo_uuid_v2=F04099A9dd; viewed="27607246_26356432"; ap=1; ps=y; push_noty_num=0; push_doumail_num=0; dbcl2="30496987:gZxPfTZW4y0"; ck=13ey; _pk_ref.100001.8cb4=%5B%22%22%2C%22%22%2C1515153574%2C%22https%3A%2F%2Fbook.douban.com%2Fmine%22%5D; __utma=30149280.833870293.1473539740.1514800523.1515153574.50; __utmc=30149280; _pk_id.100001.8cb4=255d8377ad92c57e.1473520329.20.1515153606.1514628010.'} #替換成自己的cookier = requests.get('https://www.douban.com/contacts/list', headers = headers)print(r.text)

總結

以上所述是小編個大家介紹的Python爬蟲通過替換http request header來欺騙瀏覽器實現登錄 ,希望對大家有所幫助,如果大家有任何疑問歡迎給我留言,小編會及時回復大家的!

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 奈曼旗| 莎车县| 汝州市| 三江| 阿合奇县| 松桃| 翁牛特旗| 清苑县| 汤原县| 讷河市| 辽中县| 大厂| 嵊州市| 托克逊县| 巴青县| 天峻县| 平和县| 竹山县| 永胜县| 石嘴山市| 巴里| 永年县| 阳春市| 松江区| 罗甸县| 广州市| 吉安县| 吐鲁番市| 五大连池市| 竹山县| 独山县| 壶关县| 贵德县| 璧山县| 维西| 介休市| 酒泉市| 卢氏县| 屏东县| 丰县| 招远市|