国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python爬蟲中g(shù)et和post方法介紹以及cookie作用

2020-01-04 15:55:04
字體:
供稿:網(wǎng)友

首先確定你要爬取的目標(biāo)網(wǎng)站的表單提交方式,可以通過開發(fā)者工具看到。這里推薦使用chrome。

這里我用163郵箱為例

打開工具后再Network中,在Name選中想要了解的網(wǎng)站,右側(cè)headers里的request method就是提交方式。status如果是200表示成功訪問下面的有頭信息,cookie是你登錄之后產(chǎn)生的存儲(chǔ)會(huì)話(session)信息的。第一次訪問該網(wǎng)頁需要提供用戶名和密碼,之后只需要在headers里提供cookie就可以登陸進(jìn)去。

引入requests庫,會(huì)提供get和post的方法。

代碼示例:

import requestsimport ssluser_agent="Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0"accept='text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'accept_language='zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3'upgrade='1'headers={  'User-Agent':user_agent,  'Accept':accept,  'Accept-Language':accept_language,'Cookie':'....'#這里填入你登陸后產(chǎn)生的cookie}r = requests.get("http://mail.163.com/js6/main.jsp?sid=OAwUtGgglzEJoANLHPggrsKKAhsyheAT&df=mail163_letter#module=welcome.WelcomeModule%7C%7B%7D",headers=headers,verify=False)fp = open("/temp/csdn.txt","w",encoding='utf-8')fp.write(str(r.content,'utf-8'))fp.close()

這里我引入了ssl庫,因?yàn)槲业谝淮卧L問的網(wǎng)頁證書過期。如果我們使用爬蟲進(jìn)入這樣的網(wǎng)站時(shí),會(huì)報(bào)錯(cuò):SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)

在requests的get和post方法中,有一個(gè)參數(shù)為verify,把他設(shè)為False后會(huì)禁掉證書的要求


注:相關(guān)教程知識(shí)閱讀請(qǐng)移步到python教程頻道。
發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 乌拉特前旗| 大余县| 万源市| 邢台县| 惠水县| 洛阳市| 鄂尔多斯市| 永宁县| 惠安县| 赞皇县| 兴山县| 台湾省| 阜南县| 德庆县| 儋州市| 罗定市| 西平县| 彭泽县| 娱乐| 易门县| 西乌| 峨山| 砚山县| 甘肃省| 蓝山县| 开原市| 商城县| 东源县| 邢台市| 布拖县| 康乐县| 花莲县| 沁水县| 海阳市| 清原| 东乡县| 图木舒克市| 渭南市| 兰西县| 宾川县| 措美县|