国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python線程進程

2019-11-09 20:14:32
字體:
供稿:網(wǎng)友
作者:一刀捅死大萌德鏈接:https://zhuanlan.zhihu.com/p/20953544來源:知乎著作權歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權,非商業(yè)轉(zhuǎn)載請注明出處。最近在看Python的多線程,經(jīng)常我們會聽到老手說:“python下多線程是雞肋,推薦使用多進程!”,但是為什么這么說呢?

要知其然,更要知其所以然。所以有了下面的深入研究:

首先強調(diào)背景:

1、GIL是什么?GIL的全稱是Global InterPReter Lock(全局解釋器鎖),來源是python設計之初的考慮,為了數(shù)據(jù)安全所做的決定。

2、每個CPU在同一時間只能執(zhí)行一個線程(在單核CPU下的多線程其實都只是并發(fā),不是并行,并發(fā)和并行從宏觀上來講都是同時處理多路請求的概念。但并發(fā)和并行又有區(qū)別,并行是指兩個或者多個事件在同一時刻發(fā)生;而并發(fā)是指兩個或多個事件在同一時間間隔內(nèi)發(fā)生。)在Python多線程下,每個線程的執(zhí)行方式:1.獲取GIL2.執(zhí)行代碼直到sleep或者是python虛擬機將其掛起。3.釋放GIL

可見,某個線程想要執(zhí)行,必須先拿到GIL,我們可以把GIL看作是“通行證”,并且在一個python進程中,GIL只有一個。拿不到通行證的線程,就不允許進入CPU執(zhí)行。

在python2.x里,GIL的釋放邏輯是當前線程遇見IO操作或者ticks計數(shù)達到100(ticks可以看作是python自身的一個計數(shù)器,專門做用于GIL,每次釋放后歸零,這個計數(shù)可以通過 sys.setcheckinterval 來調(diào)整),進行釋放。

而每次釋放GIL鎖,線程進行鎖競爭、切換線程,會消耗資源。并且由于GIL鎖存在,python里一個進程永遠只能同時執(zhí)行一個線程(拿到GIL的線程才能執(zhí)行),這就是為什么在多核CPU上,python的多線程效率并不高。

那么是不是python的多線程就完全沒用了呢?

在這里我們進行分類討論:

1、CPU密集型代碼(各種循環(huán)處理、計數(shù)等等),在這種情況下,ticks計數(shù)很快就會達到閾值,然后觸發(fā)GIL的釋放與再競爭(多個線程來回切換當然是需要消耗資源的),所以python下的多線程對CPU密集型代碼并不友好。

2、IO密集型代碼(文件處理、網(wǎng)絡爬蟲等),多線程能夠有效提升效率(單線程下有IO操作會進行IO等待,造成不必要的時間浪費,而開啟多線程能在線程A等待時,自動切換到線程B,可以不浪費CPU的資源,從而能提升程序執(zhí)行效率)。所以python的多線程對IO密集型代碼比較友好。

而在python3.x中,GIL不使用ticks計數(shù),改為使用計時器(執(zhí)行時間達到閾值后,當前線程釋放GIL),這樣對CPU密集型程序更加友好,但依然沒有解決GIL導致的同一時間只能執(zhí)行一個線程的問題,所以效率依然不盡如人意。

多核多線程比單核多線程更差,原因是單核下多線程,每次釋放GIL,喚醒的那個線程都能獲取到GIL鎖,所以能夠無縫執(zhí)行,但多核下,CPU0釋放GIL后,其他CPU上的線程都會進行競爭,但GIL可能會馬上又被CPU0拿到,導致其他幾個CPU上被喚醒后的線程會醒著等待到切換時間后又進入待調(diào)度狀態(tài),這樣會造成線程顛簸(thrashing),導致效率更低

回到最開始的問題:經(jīng)常我們會聽到老手說:“python下想要充分利用多核CPU,就用多進程”,原因是什么呢?

原因是:每個進程有各自獨立的GIL,互不干擾,這樣就可以真正意義上的并行執(zhí)行,所以在python中,多進程的執(zhí)行效率優(yōu)于多線程(僅僅針對多核CPU而言)。

所以我們能夠得出結論:多核下,想做并行提升效率,比較通用的方法是使用多進程,能夠有效提高執(zhí)行效率


發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 民丰县| 确山县| 白山市| 郑州市| 黄冈市| 长岛县| 富源县| 忻城县| 泗洪县| 竹溪县| 钟祥市| 通辽市| 文安县| 禹城市| 武城县| 荣成市| 尼勒克县| 富源县| 宣城市| 嘉义市| 尖扎县| 东丰县| 稻城县| 阿勒泰市| 彭阳县| 通辽市| 遵化市| 孝义市| 张家口市| 吴旗县| 丹寨县| 平南县| 资中县| 大田县| 清水河县| 威远县| 绥江县| 康定县| 临澧县| 东兴市| 西安市|