国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python多線程爬蟲簡單示例

2019-11-25 16:53:51
字體:
來源:轉載
供稿:網友

 python是支持多線程的,主要是通過thread和threading這兩個模塊來實現的。thread模塊是比較底層的模塊,threading模塊是對thread做了一些包裝的,可以更加方便的使用。

雖然python的多線程受GIL限制,并不是真正的多線程,但是對于I/O密集型計算還是能明顯提高效率,比如說爬蟲。

下面用一個實例來驗證多線程的效率。代碼只涉及頁面獲取,并沒有解析出來。

# -*-coding:utf-8 -*-import urllib2, timeimport threading  class MyThread(threading.Thread):  def __init__(self, func, args):    threading.Thread.__init__(self)    self.args = args    self.func = func   def run(self):    apply(self.func, self.args)  def open_url(url):  request = urllib2.Request(url)  html = urllib2.urlopen(request).read()  print len(html)  return html if __name__ == '__main__':  # 構造url列表  urlList = []  for p in range(1, 10):    urlList.append('http://s.wanfangdata.com.cn/Paper.aspx?q=%E5%8C%BB%E5%AD%A6&p=' + str(p))     # 一般方式  n_start = time.time()  for each in urlList:    open_url(each)  n_end = time.time()  print 'the normal way take %s s' % (n_end-n_start)     # 多線程  t_start = time.time()  threadList = [MyThread(open_url, (url,)) for url in urlList]  for t in threadList:    t.setDaemon(True)    t.start()  for i in threadList:    i.join()  t_end = time.time()  print 'the thread way take %s s' % (t_end-t_start)

分別用兩種方式獲取10個訪問速度比較慢的網頁,一般方式耗時50s,多線程耗時10s。

多線程代碼解讀:

# 創建線程類,繼承Thread類class MyThread(threading.Thread):  def __init__(self, func, args):    threading.Thread.__init__(self) # 調用父類的構造函數    self.args = args    self.func = func   def run(self): # 線程活動方法    apply(self.func, self.args)  
threadList = [MyThread(open_url, (url,)) for url in urlList] # 調用線程類創建新線程,返回線程列表  for t in threadList:    t.setDaemon(True) # 設置守護線程,父線程會等待子線程執行完后再退出    t.start() # 線程開啟  for i in threadList:    i.join() # 等待線程終止,等子線程執行完后再執行父線程

以上就是本文的全部內容,希望對大家的學習有所幫助。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 阿拉尔市| 和顺县| 甘泉县| 罗甸县| 卓尼县| 米易县| 浦城县| 芮城县| 明星| 新竹市| 江油市| 南丹县| 梨树县| 津南区| 碌曲县| 玉树县| 桂东县| 蕉岭县| 湘乡市| 澄城县| 东阿县| 穆棱市| 华亭县| 莎车县| 霞浦县| 板桥市| 南阳市| 仙居县| 和政县| 扎兰屯市| 广饶县| 和龙市| 平乡县| 兴和县| 桐梓县| 特克斯县| 长子县| 宁陵县| 襄汾县| 揭西县| 襄汾县|