国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python中使用urllib2偽造HTTP報頭的2個方法

2019-11-25 18:20:29
字體:
來源:轉載
供稿:網友

在采集網頁信息的時候,經常需要偽造報頭來實現采集腳本的有效執行

下面,我們將使用urllib2的header部分偽造報頭來實現采集信息

方法1、

#!/usr/bin/python# -*- coding: utf-8 -*-#encoding=utf-8#Filename:urllib2-header.py import urllib2import sys #抓取網頁內容-發送報頭-1url= "http://m.survivalescaperooms.com"send_headers = { 'Host':'m.survivalescaperooms.com', 'User-Agent':'Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0', 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Connection':'keep-alive'} req = urllib2.Request(url,headers=send_headers)r = urllib2.urlopen(req) html = r.read()        #返回網頁內容receive_header = r.info()     #返回的報頭信息 # sys.getfilesystemencoding() html = html.decode('utf-8','replace').encode(sys.getfilesystemencoding()) #轉碼:避免輸出出現亂碼  print receive_header# print '####################################'print html

方法2、

#!/usr/bin/python# -*- coding: utf-8 -*-#encoding=utf-8#Filename:urllib2-header.py import urllib2import sys url = '//m.survivalescaperooms.com' req = urllib2.Request(url)req.add_header('Referer','//m.survivalescaperooms.com/')req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0')r = urllib2.urlopen(req) html = r.read()receive_header = r.info() html = html.decode('utf-8').encode(sys.getfilesystemencoding()) print receive_headerprint '#####################################'print html

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 葫芦岛市| 永济市| 达拉特旗| 兴国县| 惠州市| 新乡市| 阿瓦提县| 万宁市| 肇州县| 兴山县| 安化县| 廉江市| 绥德县| 贞丰县| 大宁县| 长治县| 邓州市| 治县。| 贵德县| 疏勒县| 华蓥市| 曲靖市| 丽江市| 施秉县| 安宁市| 江孜县| 泾源县| 于都县| 黄山市| 昭觉县| 玉龙| 道真| 沂源县| 赤壁市| 永城市| 乌恰县| 崇阳县| 沙田区| 论坛| 丹棱县| 东山县|