Python通過(guò)yield提供了對(duì)協(xié)程的基本支持,但是不完全。而第三方的gevent為Python提供了比較完善的協(xié)程支持。
gevent是第三方庫(kù),通過(guò)greenlet實(shí)現(xiàn)協(xié)程,其基本思想是:
當(dāng)一個(gè)greenlet遇到IO操作時(shí),比如訪問(wèn)網(wǎng)絡(luò),就自動(dòng)切換到其他的greenlet,等到IO操作完成,再在適當(dāng)?shù)臅r(shí)候切換回來(lái)繼續(xù)執(zhí)行。由于IO操作非常耗時(shí),經(jīng)常使程序處于等待狀態(tài),有了gevent為我們自動(dòng)切換協(xié)程,就保證總有g(shù)reenlet在運(yùn)行,而不是等待IO。
由于切換是在IO操作時(shí)自動(dòng)完成,所以gevent需要修改Python自帶的一些標(biāo)準(zhǔn)庫(kù),這一過(guò)程在啟動(dòng)時(shí)通過(guò)monkey patch完成:
from gevent import monkey; monkey.patch_socket()import geventdef f(n): for i in range(n): print gevent.getcurrent(), ig1 = gevent.spawn(f, 5)g2 = gevent.spawn(f, 5)g3 = gevent.spawn(f, 5)g1.join()g2.join()g3.join()
運(yùn)行結(jié)果:
<Greenlet at 0x10e49f550: f(5)> 0<Greenlet at 0x10e49f550: f(5)> 1<Greenlet at 0x10e49f550: f(5)> 2<Greenlet at 0x10e49f550: f(5)> 3<Greenlet at 0x10e49f550: f(5)> 4<Greenlet at 0x10e49f910: f(5)> 0<Greenlet at 0x10e49f910: f(5)> 1<Greenlet at 0x10e49f910: f(5)> 2<Greenlet at 0x10e49f910: f(5)> 3<Greenlet at 0x10e49f910: f(5)> 4<Greenlet at 0x10e49f4b0: f(5)> 0<Greenlet at 0x10e49f4b0: f(5)> 1<Greenlet at 0x10e49f4b0: f(5)> 2<Greenlet at 0x10e49f4b0: f(5)> 3<Greenlet at 0x10e49f4b0: f(5)> 4
可以看到,3個(gè)greenlet是依次運(yùn)行而不是交替運(yùn)行。
要讓greenlet交替運(yùn)行,可以通過(guò)gevent.sleep()交出控制權(quán):
def f(n): for i in range(n): print gevent.getcurrent(), i gevent.sleep(0)
執(zhí)行結(jié)果:
<Greenlet at 0x10cd58550: f(5)> 0<Greenlet at 0x10cd58910: f(5)> 0<Greenlet at 0x10cd584b0: f(5)> 0<Greenlet at 0x10cd58550: f(5)> 1<Greenlet at 0x10cd584b0: f(5)> 1<Greenlet at 0x10cd58910: f(5)> 1<Greenlet at 0x10cd58550: f(5)> 2<Greenlet at 0x10cd58910: f(5)> 2<Greenlet at 0x10cd584b0: f(5)> 2<Greenlet at 0x10cd58550: f(5)> 3<Greenlet at 0x10cd584b0: f(5)> 3<Greenlet at 0x10cd58910: f(5)> 3<Greenlet at 0x10cd58550: f(5)> 4<Greenlet at 0x10cd58910: f(5)> 4<Greenlet at 0x10cd584b0: f(5)> 4
3個(gè)greenlet交替運(yùn)行,
把循環(huán)次數(shù)改為500000,讓它們的運(yùn)行時(shí)間長(zhǎng)一點(diǎn),然后在操作系統(tǒng)的進(jìn)程管理器中看,線程數(shù)只有1個(gè)。
當(dāng)然,實(shí)際代碼里,我們不會(huì)用gevent.sleep()去切換協(xié)程,而是在執(zhí)行到IO操作時(shí),gevent自動(dòng)切換,代碼如下:
from gevent import monkey; monkey.patch_all()import geventimport urllib2def f(url): print('GET: %s' % url) resp = urllib2.urlopen(url) data = resp.read() print('%d bytes received from %s.' % (len(data), url))gevent.joinall([ gevent.spawn(f, 'https://www.python.org/'), gevent.spawn(f, 'https://www.yahoo.com/'), gevent.spawn(f, 'https://github.com/'),])運(yùn)行結(jié)果:
GET: https://www.python.org/GET: https://www.yahoo.com/GET: https://github.com/45661 bytes received from https://www.python.org/.14823 bytes received from https://github.com/.304034 bytes received from https://www.yahoo.com/.
從結(jié)果看,3個(gè)網(wǎng)絡(luò)操作是并發(fā)執(zhí)行的,而且結(jié)束順序不同,但只有一個(gè)線程。
小結(jié)
使用gevent,可以獲得極高的并發(fā)性能,但gevent只能在Unix/Linux下運(yùn)行,在Windows下不保證正常安裝和運(yùn)行。
由于gevent是基于IO切換的協(xié)程,所以最神奇的是,我們編寫(xiě)的Web App代碼,不需要引入gevent的包,也不需要改任何代碼,僅僅在部署的時(shí)候,用一個(gè)支持gevent的WSGI服務(wù)器,立刻就獲得了數(shù)倍的性能提升。具體部署方式可以參考后續(xù)“實(shí)戰(zhàn)”-“部署Web App”一節(jié)。
新聞熱點(diǎn)
疑難解答
圖片精選