国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學(xué)院 > 開發(fā)設(shè)計 > 正文

scrapy spider 一些設(shè)置屬性說明

2019-11-08 03:24:27
字體：大 中 小
供稿：網(wǎng)友

settings.py

DOWNLOAD_TIMEOUT = 10 # 下載超時時間HTTPERROR_ALLOWED_CODES = [403, 502, 503, 404] # 這個設(shè)置項，可以在中間調(diào)試器中間能訪問到這些code碼，如果不設(shè)置這些的話，是不是訪問到的RETRY_TIMES = 5 #重復(fù)執(zhí)行5次RETRY_HTTP_CODES = [500, 502, 503, 504, 400, 403, 404, 408] #出現(xiàn)這些錯誤碼會重復(fù)執(zhí)行的DOWNLOAD_DELAY = 3 時間間隔

spider文件下設(shè)置

1. PRiority=9，# 這個設(shè)置是下載url優(yōu)先級（數(shù)子大優(yōu)先權(quán)大）如：yield scrapy.Request( url=url_citation, meta={ 'sql': retSql }, callback=self.GetCitation, priority=9, ) 2. 設(shè)置某個spider單獨使用的設(shè)置項等等。 custom_settings = { 'DOWNLOAD_DELAY': 0.2, 'CONCURRENT_REQUESTS_PER_

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板： 通州市| 隆化县| 濉溪县| 甘泉县| 巴南区| 汝州市| 安岳县| 如皋市| 宁河县| 赤壁市| 新平| 个旧市| 新沂市| 溆浦县| 太白县| 南丰县| 义马市| 遂宁市| 岳普湖县| 洛浦县| 镇雄县| 长海县| 白山市| 丹棱县| 长春市| 靖远县| 璧山县| 铁力市| 万荣县| 眉山市| 叶城县| 招远市| 尉氏县| 八宿县| 开阳县| 乌兰浩特市| 洮南市| 丰宁| 兴业县| 建阳市| 葵青区|