国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

10種檢測Python程序運行時間、CPU和內存占用的方法

2019-11-25 17:52:39
字體:
來源:轉載
供稿:網友

在運行復雜的Python程序時,執行時間會很長,這時也許想提高程序的執行效率。但該怎么做呢?

首先,要有個工具能夠檢測代碼中的瓶頸,例如,找到哪一部分執行時間比較長。接著,就針對這一部分進行優化。

同時,還需要控制內存和CPU的使用,這樣可以在另一方面優化代碼。

因此,在這篇文章中我將介紹7個不同的Python工具,來檢查代碼中函數的執行時間以及內存和CPU的使用。
1. 使用裝飾器來衡量函數執行時間

有一個簡單方法,那就是定義一個裝飾器來測量函數的執行時間,并輸出結果:
 

import timefrom functools import wraps def fn_timer(function):  @wraps(function)  def function_timer(*args, **kwargs):    t0 = time.time()    result = function(*args, **kwargs)    t1 = time.time()    print ("Total time running %s: %s seconds" %        (function.func_name, str(t1-t0))        )    return result  return function_timer

接著,將這個裝飾器添加到需要測量的函數之前,如下所示:
 

@fn_timerdef myfunction(...):...

例如,這里檢測一個函數排序含有200萬個隨機數字的數組所需的時間:
 

@fn_timerdef random_sort(n):  return sorted([random.random() for i in range(n)]) if __name__ == "__main__":  random_sort(2000000)

執行腳本時,會看到下面的結果:
 

Total time running random_sort: 1.41124916077 seconds

2. 使用timeit模塊

另一種方法是使用timeit模塊,用來計算平均時間消耗。

執行下面的腳本可以運行該模塊。

python -m timeit -n 4 -r 5 -s "import timing_functions" "timing_functions.random_sort(2000000)"

這里的timing_functions是Python腳本文件名稱。

在輸出的末尾,可以看到以下結果:
 

4 loops, best of 5: 2.08 sec per loop

這表示測試了4次,平均每次測試重復5次,最好的測試結果是2.08秒。

如果不指定測試或重復次數,默認值為10次測試,每次重復5次。
3. 使用Unix系統中的time命令

然而,裝飾器和timeit都是基于Python的。在外部環境測試Python時,unix time實用工具就非常有用。

運行time實用工具:
 

$ time -p python timing_functions.py

輸出結果為:
 

Total time running random_sort: 1.3931210041 secondsreal 1.49user 1.40sys 0.08

第一行來自預定義的裝飾器,其他三行為:

  •     real表示的是執行腳本的總時間
  •     user表示的是執行腳本消耗的CPU時間。
  •     sys表示的是執行內核函數消耗的時間。

注意:根據維基百科的定義,內核是一個計算機程序,用來管理軟件的輸入輸出,并將其翻譯成CPU和其他計算機中的電子設備能夠執行的數據處理指令。

因此,Real執行時間和User+Sys執行時間的差就是消耗在輸入/輸出和系統執行其他任務時消耗的時間。
4. 使用cProfile模塊

如果想知道每個函數和方法消耗了多少時間,以及這些函數被調用了多少次,可以使用cProfile模塊。
 

$ python -m cProfile -s cumulative timing_functions.py

現在可以看到代碼中函數的詳細描述,其中含有每個函數調用的次數,由于使用了-s選項(累加),最終結果會根據每個函數的累計執行時間排序。

201541103516157.jpg (690×654)

讀者會發現執行腳本所需的總時間比以前要多。這是由于測量每個函數的執行時間這個操作本身也是需要時間。
5. 使用line_profiler模塊

line_profiler模塊可以給出執行每行代碼所需占用的CPU時間。

首先,安裝該模塊:
 

$ pip install line_profiler

接著,需要指定用@profile檢測哪個函數(不需要在代碼中用import導入模塊):
 

@profiledef random_sort2(n):  l = [random.random() for i in range(n)]  l.sort()  return l if __name__ == "__main__":  random_sort2(2000000)

最好,可以通過下面的命令獲得關于random_sort2函數的逐行描述。
 

$ kernprof -l -v timing_functions.py

其中-l表示逐行解釋,-v表示表示輸出詳細結果。通過這種方法,我們看到構建數組消耗了44%的計算時間,而sort()方法消耗了剩余的56%的時間。

201541103623876.jpg (690×208)

同樣,由于需要檢測執行時間,腳本的執行時間更長了。
6. 使用memory_profiler模塊

memory_profiler模塊用來基于逐行測量代碼的內存使用。使用這個模塊會讓代碼運行的更慢。

安裝方法如下:

 pip install memory_profiler

另外,建議安裝psutil包,這樣memory_profile會運行的快一點:
 

$ pip install psutil

與line_profiler相似,使用@profile裝飾器來標識需要追蹤的函數。接著,輸入:
 

$ python -m memory_profiler timing_functions.py

腳本的執行時間比以前長1或2秒。如果沒有安裝psutil包,也許會更長。

201541103657211.jpg (690×145)

從結果可以看出,內存使用是以MiB為單位衡量的,表示的mebibyte(1MiB = 1.05MB)。
7. 使用guppy包

最后,通過這個包可以知道在代碼執行的每個階段中,每種類型(str、tuple、dict等)分別創建了多少對象。

安裝方法如下:
 

$ pip install guppy

接著,將其添加到代碼中:
 

from guppy import hpy def random_sort3(n):  hp = hpy()  print "Heap at the beginning of the functionn", hp.heap()  l = [random.random() for i in range(n)]  l.sort()  print "Heap at the end of the functionn", hp.heap()  return l if __name__ == "__main__":  random_sort3(2000000)

運行代碼:
 

$ python timing_functions.py

可以看到輸出結果為:

201541103732081.jpg (688×533)

通過在代碼中將heap()放置在不同的位置,可以了解到腳本中的對象創建和刪除操作的流程。

如果想學習更多關于Python代碼速度優化方面的知識,我建議你去讀這本書《High Performance Python: Practical Performant Programming for Humans, september 2014.》

希望這篇文章能偶幫到你!^_^

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 涡阳县| 壤塘县| 孝义市| 通州市| 扬中市| 泰来县| 桑日县| 北碚区| 耒阳市| 兴城市| 涟水县| 曲松县| 肥西县| 房山区| 罗江县| 拉萨市| 额敏县| 五华县| 台东市| 佛坪县| 筠连县| 微博| 唐山市| 汉源县| 延长县| 新丰县| 广饶县| 油尖旺区| 仁寿县| 沾化县| 元朗区| 纳雍县| 华亭县| 苏尼特左旗| 利川市| 安吉县| 松阳县| 深州市| 宣武区| 浏阳市| 苍山县|