国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

scrapy自定義pipeline類實現(xiàn)將采集數(shù)據(jù)保存到mongodb的方法

2019-11-25 17:43:22
字體:
供稿:網(wǎng)友

本文實例講述了scrapy自定義pipeline類實現(xiàn)將采集數(shù)據(jù)保存到mongodb的方法。分享給大家供大家參考。具體如下:

# Standard Python library imports# 3rd party modulesimport pymongofrom scrapy import logfrom scrapy.conf import settingsfrom scrapy.exceptions import DropItemclass MongoDBPipeline(object):  def __init__(self):    self.server = settings['MONGODB_SERVER']    self.port = settings['MONGODB_PORT']    self.db = settings['MONGODB_DB']    self.col = settings['MONGODB_COLLECTION']    connection = pymongo.Connection(self.server, self.port)    db = connection[self.db]    self.collection = db[self.col]  def process_item(self, item, spider):    err_msg = ''    for field, data in item.items():      if not data:        err_msg += 'Missing %s of poem from %s/n' % (field, item['url'])    if err_msg:      raise DropItem(err_msg)    self.collection.insert(dict(item))    log.msg('Item written to MongoDB database %s/%s' % (self.db, self.col),        level=log.DEBUG, spider=spider)    return item

希望本文所述對大家的python程序設計有所幫助。

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 清丰县| 灵川县| 兴隆县| 长汀县| 公主岭市| 大同县| 辽中县| 大宁县| 秭归县| 连平县| 清丰县| 河源市| 汝阳县| 桃江县| 延安市| 施甸县| 四川省| 顺昌县| 洪泽县| 北辰区| 得荣县| 涞源县| 恩平市| 金秀| 左贡县| 芜湖县| 安阳县| 日照市| 信丰县| 济南市| 余干县| 津南区| 康马县| 都江堰市| 类乌齐县| 平度市| 泰安市| 内黄县| 吉首市| 武功县| 凤山市|