国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python使用scrapy采集時偽裝成HTTP/1.1的方法

2019-11-25 17:48:45
字體:
供稿:網(wǎng)友

本文實例講述了Python使用scrapy采集時偽裝成HTTP/1.1的方法。分享給大家供大家參考。具體如下:

添加下面的代碼到 settings.py 文件

復(fù)制代碼 代碼如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'

保存以下代碼到單獨的.py文件
復(fù)制代碼 代碼如下:
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class PageGetter(ScrapyHTTPPageGetter):
    def sendCommand(self, command, path):
        self.transport.write('%s %s HTTP/1.1/r/n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
     protocol = PageGetter

希望本文所述對大家的Python程序設(shè)計有所幫助。

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 东方市| 张家港市| 泗水县| 安仁县| 遂宁市| 石林| 宁海县| 广水市| 辽源市| 镇安县| 泰安市| 井陉县| 荔波县| 通山县| 那坡县| 宁强县| 望城县| 花垣县| 台湾省| 耒阳市| 沾化县| 清远市| 得荣县| 额尔古纳市| 安图县| 罗山县| 鄂州市| 澜沧| 通榆县| 天镇县| 仪征市| 望都县| 德清县| 平凉市| 丰镇市| 越西县| 阳山县| 澄城县| 沁水县| 井陉县| 肃南|