importlib 模塊的作用
模塊，是一個一個單獨的py文件 包，里面包含多個模塊（py文件）
動態導入模塊，這樣就不用寫那么多的import代碼， 典型的例子： 自動同步服務，每個網站都有一個py文件。主進程里收到同步任務，根據名稱來動態導入對應的py文件，這樣就不用寫那么多的import代碼。（有點類似java的工廠方法）
但是，importlib并不能解決我在線修改py源碼，再不重啟進程的情況下，使修改生效。 這種情況，可以使用reload()
reload方法
為防止兩個模塊互相導入的問題，Python默認所有的模塊都只導入一次，如果需要重新導入模塊， Python2.7可以直接用reload()，Python3可以用下面幾種方法：
方法一：基本方法 from imp import reload reload(module)
方法二：按照套路，可以這樣 import imp imp.reload(module)
方法三：看看imp.py，有發現，所以還可以這樣 import importlib importlib.reload(module)
方法四：根據天理，當然也可以這樣 from importlib import reload reload(module)
在多進程的 程序中，一個進程的reload是無法影響另一個進程的
例子：
# 在主進程中啟動多進程def begin(): """ 啟動多進程 """ plist = [] for i in xrange(Num_process): p = Process(target=pre_run) p.start() plist.append(p) # 此進程監聽redis消息，收到消息，即執行reload方法 p = Process(target=reload_spider) p.start() plist.append(p) for p in plist: p.join()
# 監聽redis，執行reload方法def reload_spider(): """ 監聽文件變化，自動reload """ rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW) while True: try: key = 'reload-spider' value = rconn.get(key) print value if value == '1': crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower()) reload(crawler_module) crawlerClass = getattr(crawler_module, 'temp'.upper()) print 'reload_spider 中的class： %s' % (crawlerClass.name) # rconn.delete(key) except Exception, e: pass time.sleep(3)另一個進程打印py文件里面一個變量
crawler = get_crawler_from_factory(mq_service, message) print crawler.name
結果發現，一個進程中進行了reload，并不能改變另外一個進程中的變量。那么在同一個進程中呢...
同一進程中，多線程，任一線程進行了reload操作，其他線程均受影響
def pre_run(): t = threading.Thread(target=reload_spider, name='LoopThread') t.start() # t.join() """ 在每個進程里面再使用多線程 """ pool = ThreadPool(Num_Thread) # 初始化mq通道 mq_service = RabbitMqService() def callback(ch, method, properties, body): # 消息確認 mq_service.input_channel.basic_ack(delivery_tag=method.delivery_tag) # 獲取當前線程的名字 current_process_name = multiprocessing.current_process().name logger.debug('當前進程名稱：%s - pid: %s' % (current_process_name, os.getpid())) logger.debug('進程 %s，收到消息： %s' % (current_process_name, body)) # 收到任務消息，丟給線程池處理 pool.apply_async(run, (properties, body, mq_service)) # 開始監聽入口通道 mq_service.receive(callback)reload_spider中監聽redi中的消息，如果有reload標識，進行reload操作
def reload_spider(): """ 監聽文件變化，自動reload """ rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW) while True: try: key = 'reload-spider' value = rconn.get(key) print value if value == '1': crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower()) reload(crawler_module) crawlerClass = getattr(crawler_module, 'temp'.upper()) print 'reload_spider 中的class： %s' % (crawlerClass.name) # rconn.delete(key) except Exception, e: pass time.sleep(3)經測試，其他線程中的引入的變量，也改變了。
當然，消息監聽最好使用mq或者是redis阻塞隊列
以上這篇Python重新加載模塊的實現方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持VEVB武林網。
新聞熱點
疑難解答
