本文實例講述了Python multiprocessing多進程原理與應用。分享給大家供大家參考，具體如下：
multiprocessing包是Python中的多進程管理包,可以利用multiprocessing.Process對象來創建進程,Process對象擁有is_alive()、join([timeout])、run()、start()、terminate()等方法。
multprocessing模塊的核心就是使管理進程像管理線程一樣方便，每個進程有自己獨立的GIL，所以不存在進程間爭搶GIL的問題，在多核CPU環境中，可以大大提高運行效率。
multiprocessing使用示例：
import multiprocessingimport timeimport cv2def daemon1(image): name = multiprocessing.current_process().name for i in range(50): image = cv2.GaussianBlur(image, (3, 3), 1) time.sleep(0.1) print 'daemon1 done!' cv2.imshow('daemon1', image)def daemon2(image): name = multiprocessing.current_process().name for i in range(50): image = cv2.GaussianBlur(image, (3, 3), 1) time.sleep(0.5) print 'daemon2 done!' cv2.imshow('daemon2', image)if __name__ == '__main__': t1 = time.time() number_kernel = multiprocessing.cpu_count() print 'We have {0} kernels'.format(number_kernel) p1 = multiprocessing.Process(name='daemon1', target=daemon1,args= (cv2.imread('./p1.jpg'),)) p1.daemon = False p2 = multiprocessing.Process(name='daemon2', target=daemon2, args=(cv2.imread('./p2.jpg'),)) p2.daemon = False p1.start() p2.start() print 'p1 is {0}'.format(p1.is_alive()) p1.terminate() p1.join() print 'p1 is {0}'.format(p1.is_alive()) print 'p2 is {0}'.format(p2.is_alive()) p2.join() t2 = time.time() print '!!!!!!!!!!!!!!!!!!!!OK!!!!!!!!!!!!!!!!!!!!!' print 'total time is {0}'.format(t2-t1) print 'p1.exitcode = {0}'.format(p1.exitcode) print 'p2.exitcode = {0}'.format(p2.exitcode)multiprocessing中Process是一個類，用于創建進程，以及定義進程的方法，Process類的構造函數是：
def __init__(self, group=None, target=None, name=None, args=(), kwargs={})參數含義：
程序解讀：
在multiprocessing中使用pool
如果需要多個子進程時，使用進程池(pool)來（自動）管理各個子進程更加方便：
from multiprocessing import Poolimport os, timedef long_time_task(name): print 'Run task {0} ({1})'.format(name,os.getpid()) start = time.time() time.sleep(3) end = time.time() print 'Task {0} runs {1:.2f} seconds.'.format(name,end - start)if __name__=='__main__': print 'Parent process ({0})'.format(os.getpid) p = Pool() for i in range(12): p.apply_async(long_time_task, args=(i,)) print 'Waiting for all subprocesses done...' p.close() p.join() print 'All subprocesses done.' 與Process類創建進程的方法不同，Pool是通過apply_async(func,args=(args))方法創建進程，一個進程池中能同時運行的任務數是機器上CPU核的總數量n_kernel，如果創建的子進程數大于n_kernel，則同時執行n_kernel個進程，這n_kernel中某個進程完成之后才會啟動下一個進程。
p.close()關閉進程池之后才能調用join()方法多個子進程間的通信
多個子進程間的通信要用到multiprocessing.Queue，Queue的特性是它是一個消息隊列。比如有以下的需求，一個子進程向隊列中寫數據，另外一個進程從隊列中取數據的例子：
from multiprocessing import Process, Queueimport os, time, randomdef write(q): for value in ['A', 'B', 'C']: print 'Put {0} to queue...'.format(value) q.put(value) time.sleep(random.random())def read(q): while True: if not q.empty(): value = q.get(True) print 'Get {0} from queue.'.format(value) time.sleep(random.random()) else: breakif __name__=='__main__': q = multiprocessing.Queue() pw = Process(target=write, args=(q,)) pr = Process(target=read, args=(q,)) pw.start() pw.join() pr.start() pr.join()Queue使用方法：
Queue.get(False),取不到值時觸發異常：Empty；Queue.get(False),當隊列滿了時報錯：Full； 在進程池Pool中，使用Queue會出錯，需要使用Manager.Queue：
from multiprocessing import Process, Queueimport os, time, randomdef write(q): for value in ['A', 'B', 'C']: print 'Put {0} to queue...'.format(value) q.put(value) time.sleep(random.random())def read(q): while True: if not q.empty(): value = q.get(True) print 'Get {0} from queue.'.format(value) time.sleep(random.random()) else: breakif __name__=='__main__': manager = multiprocessing.Manager() q = manager.Queue() p = Pool() pw = p.apply_async(write, args=(q,)) time.sleep(2) pr = p.apply_async(read, args=(q,)) p.close() p.join() if not q.empty(): print 'q is not empty...' else: print 'q is empty...' print 'OK' if not q.empty(): print 'q is not empty...' else: print 'q is empty...' print 'done...'父進程與子進程共享內存
定義普通的變量，不能實現在父進程和子進程之間共享：
import multiprocessingfrom multiprocessing import Pooldef changevalue(n, a): n = 3.14 a[0] = 5if __name__ == '__main__': num = 0 arr = range(10) p = Pool() p1 = p.apply_async(changevalue, args=(num, arr)) p.close() p.join() print num print arr[:]
結果輸出num的值還是在父進程中定義的0，arr的第一個元素值還是0。
使用multiprocessing創建共享對象:
import multiprocessingdef changevalue(n, a): n.value = 3.14 a[0] = 5if __name__ == '__main__': num = multiprocessing.Value('d', 0.0) arr = multiprocessing.Array('i', range(10)) p = multiprocessing.Process(target=changevalue, args=(num, arr)) p.start() p.join() print num.value print arr[:]結果輸出num的值是在子進程中修改的3.14，arr的第一個元素值更改為5。
共享內存在Pool中的使用：
import multiprocessingfrom multiprocessing import Pooldef changevalue(n, a): n.value = 3.14 a[0] = 5if __name__ == '__main__': num = multiprocessing.Value('d', 0.0) arr = multiprocessing.Array('i', range(10)) p = Pool() p1 = p.apply_async(changevalue, args=(num, arr)) p.close() p.join() print num.value print arr[:]希望本文所述對大家Python程序設計有所幫助。
新聞熱點
疑難解答
