Python中GIL的使用詳解

2020-01-04 14:25:50

字體：大中小

供稿：網(wǎng)友

1、GIL簡介

GIL的全稱為Global Interpreter Lock，全局解釋器鎖。

1.1 GIL設(shè)計理念與限制

python的代碼執(zhí)行由python虛擬機（也叫解釋器主循環(huán)，CPython版本）來控制，python在設(shè)計之初就考慮到在解釋器的主循環(huán)中，同時只有一個線程在運行。即在任意時刻只有一個線程在解釋器中運行。對python虛擬機訪問的控制由全局解釋鎖GIL控制，正是這個鎖來控制同一時刻只有一個線程能夠運行。

在調(diào)用外部代碼（如C、C++擴(kuò)展函數(shù)）的時候，GIL將會被鎖定，直到這個函數(shù)結(jié)束為止（由于期間沒有python的字節(jié)碼運行，所以不會做線程切換）。

在python中使用都是操作系統(tǒng)級別的線程，linux中使用的pthread，window使用的是其原生線程。

從上面的概述中可以直觀的看出py在同一時刻只能跑一個線程，這樣在跑多線程的情況下，只有當(dāng)線程獲取到全局解釋器鎖后才能運行，而全局解釋器鎖只有一個，因此即使在多核的情況下也只能發(fā)揮出單核的功能。

那么這樣看起來py不給力啊，GIL直接導(dǎo)致CPython不能利用物理多核的性能加速運行。那么為什么會有這樣的設(shè)計？考慮到Guido van Rossum 在創(chuàng)造python的時候，上世紀(jì)90年代，多核cpu完全屬于不可想象的，現(xiàn)在由于硬件發(fā)展速度太快，程序編寫就要考慮用盡cpu的全部性能，否則就要被淘汰，那么對于python同樣也要如此。

上面主要說的是這種設(shè)計的劣勢，下面再討論它的優(yōu)勢。

GIL的設(shè)計簡化了CPython的實現(xiàn)，使得對象模型，包括關(guān)鍵的內(nèi)建類型如字典，都隱式可以并發(fā)訪問。鎖住全局解釋器使得其比較容易的實現(xiàn)對多線程的支持，但也折損了多處理器主機的并行計算能力。

但是不論標(biāo)準(zhǔn)的，還是第三方的擴(kuò)展模塊，都被設(shè)計成在進(jìn)行密集計算任務(wù)時釋放GIL。另外還有在做IO操作時，GIL總是被釋放。對所有面對內(nèi)建的操作系統(tǒng)C代碼的程序來說，GIL會在這個IO調(diào)用之前被釋放，以允許其它的線程在等待這個IO的時候運行。如果是純計算的程序，沒有IO操作，解釋器會每隔100次或每隔一定時間15ms去釋放GIL。

這里可以理解為IO密集型的python比計算密集型的程序更能利用多線程環(huán)境帶來的便利。

1.2 GIL對線程執(zhí)行的影響

多線程環(huán)境中，python虛擬機按照以下方式執(zhí)行：

設(shè)置GIL
切換到一個線程去執(zhí)行
運行代碼，這里有兩種機制：
1. 指定數(shù)量的字節(jié)碼指令（100個）
2. 固定時間15ms線程主動讓出控制
把線程設(shè)置為睡眠狀態(tài)
解鎖GIL
再次重復(fù)以上步驟

上節(jié)說到python語言和程序一樣要考慮用盡cpu的性能，下面在討論py的應(yīng)對方法。

python的應(yīng)對方法很簡單，在新的python3中依然有GIL，原因大概有下幾點：

CPython的GIL本意是用來保護(hù)所有全局的解釋器和環(huán)境狀態(tài)變量的，如果去掉GIL，就需要更多的更細(xì)粒度的鎖對解釋器的眾多全局狀態(tài)進(jìn)行保護(hù)。或者采用Lock-Free算法。無論采用哪一種，要做到多線程安全都會比維系一個GIL要難得多。另外改動的還是CPython的代碼樹及其各種第三方擴(kuò)展也在依賴GIL。
進(jìn)一步說，有人做過測試將GIL去掉，加入更細(xì)粒度的鎖。但是實踐檢測對單線程來說，性能更低。只有利用的物理cpu到一定數(shù)目后，性能才會比GIL版本好。且現(xiàn)在絕大部分的python程序都是單線程的。

然后最重要的還在于以下幾個方面，簡單來說就是py不改，一樣能實現(xiàn)我們的需求。

自2.6引出的多進(jìn)程標(biāo)準(zhǔn)庫mutilprocessing，讓多進(jìn)程的python編寫簡化到類似多線程的程度，大大減輕GIL帶來的諸多不利。
利用ctypes繞過GIL：ctypes可以使py直接調(diào)用任意的C動態(tài)庫的導(dǎo)出函數(shù)。所要做的只是用ctypes寫python代碼即可。而且，ctypes會在調(diào)用C函數(shù)前釋放GIL。

python中GIL使得同一個時刻只有一個線程在一個cpu上執(zhí)行，無法將多個線程映射到多個cpu上執(zhí)行，但GIL并不會一直占有，它會在適當(dāng)?shù)臅r候釋放

import threadingcount = 0def add():  global count  for i in range(10**6):    count += 1def minus():  global count  for i in range(10**6):    count -= 1thread1 = threading.Thread(target=add)thread2 = threading.Thread(target=minus)thread1.start()thread2.start()thread1.join()thread2.join()print(count)

分別運行三次的結(jié)果：