7 個測量 Python 腳本和控制內存以及 CPU 使用率的技巧
首先，你需要工具來查明你代碼的瓶頸，比如，那部分執行花費的時間長。用這個方法，你可以首先專注于提升這部分的速度。
而且，你也應該控制內存和 CPU 使用率，因為它可以為你指出的代碼可以改進的新的部分。
所以，在本文中，我將對 7 個不同的 Python 工具發表意見，給你一些關于你函數執行時間和內存以及 CPU 使用率的見解。
1. 使用一個裝飾器來測量你的函數
測量一個函數最簡單的方式就是定義一個裝飾器來測量運行該函數的運行時間，并打印該結果：
importtime
fromfunctoolsimportwraps
deffn_timer(function):
@wraps(function)
deffunction_timer(*args, **kwargs):
t0 = time.time()
result = function(*args, **kwargs)
t1 = time.time()
print ("Total time running %s: %s seconds" %
(function.func_name, str(t1-t0))
)
return result
return function_timer
這時，你已經在你想測量的函數之前添加了裝飾器，像：
@fn_timer
defmyfunction(...):
...
例如，讓我們測量下排序一個 2000000 個隨機數的數組會花費多長時間：
@fn_timer
defrandom_sort(n):
return sorted([random.random() for i in range(n)])
if __name__ == "__main__":
random_sort(2000000)
如果你運行你的腳本，你將看到：
Totaltimerunningrandom_sort: 1.41124916077 seconds
2. 使用 timeit 模塊
另外一個選項是使用 timeit 模塊，它給你測量一個平均時間。
為了運行它，在你的終端執行以下命令：
$ python -m timeit -n 4 -r 5 -s "import timing_functions" "timing_functions.random_sort(2000000)"
timing_functions 是你腳本的名字。
在輸出的最后，你會看到一些像這樣的東西：
4 loops, bestof 5: 2.08 secperloop
表明了運行這個測試 4 次（-n 4），并在每個測試中重復平均 5 次（-r 5），最佳的結果是 2.08 秒。
如果你沒有指定測試或者重復，它默認是 10 次循環和 5 次重復。
3. 使用 Uinx 的 time 命令
盡管如此，裝飾器和 timeit 模塊都是基于 Python 的。這就是為什么 unix time 工具或許有用，因為它是一個外部的 Python 測量。
為了運行 time 工具類型：
$ time -p pythontiming_functions.py
將給出如下輸出：
Totaltimerunningrandom_sort: 1.3931210041 seconds
real 1.49
user 1.40
sys 0.08
第一行來自于我們定義的裝飾器，其他三行是：
- real 表明了執行腳本花費的總時間
- User 表明了執行腳本花費在的 CPU 時間
- Sys 表明了執行腳本花費在內核函數的時間
因此， real time 和 user+sys 相加的不同或許表明了時間花費在等待 I/O 或者是系統在忙于執行其他任務。
4. 使用 cProfile 模塊
如果你想知道花費在每個函數和方法上的時間，以及它們被調用了多少次，你可以使用 cProfile 模塊。
$ python -m cProfile -s cumulativetiming_functions.py
現在你將看到你的代碼中每個函數被調用多少次的詳細描述，并且它將通過累積花費在每個函數上面的時間來排序（感謝 -s cumulative 選項）
你將看到花費在運行你的腳本的總時間是比以前高的。這是我們測量每個函數執行時間的損失。
5. 使用 line_profiler 模塊
line_profiler 給出了在你代碼每一行花費的 CPU 時間。
這個模塊首先應該被安裝，使用命令：
$ pipinstallline_profiler
下一步，你需要指定你想使用裝飾器 @profile 評估哪個函數（你不需要把它 import 到你的文件中）。
@profile
defrandom_sort2(n):
l = [random.random() for i in range(n)]
l.sort()
return l
if __name__ == "__main__":
random_sort2(2000000)
最后，你可以通過鍵入以下命令取得 random_sort2 函數逐行的描述：
$ kernprof -l -v timing_functions.py
-l 標識表明了逐行和 -v 標識表明詳細輸出。使用這個方法，我們看到了數組結構花費了 44% 的計算時間，sort() 方法花費了剩余的 56%。
你也將看到，由于時間測量，這個腳本執行花費的或許更長。
6. 使用 memory_profiler 模塊
memory_profiler 模塊被用于在逐行的基礎上，測量你代碼的內存使用率。盡管如此，它可能使得你的代碼運行的更慢。
安裝：
$ pipinstallmemory_profiler
也建議安裝 psutil 包，使得 memory_profile 模塊運行的更快：
$ pipinstallpsutil
類似 line_profiler 的方式，使用裝飾器 @profile 來標記哪個函數被跟蹤。下一步，鍵入：
$ python -m memory_profilertiming_functions.py
是的，前面的腳本比之前的 1 或 2 秒需要更長的時間。并且，如果你不安裝 psutil 模塊，你將一直等待結果。
看上面的輸出，注意內存使用率的單位是 MiB，這代表的是兆字節（1MiB = 1.05MB）。
7. 使用 guppy 包
最后，使用這個包，你可以跟蹤每個類型在你代碼中每個階段（字符， 元組， 字典 等等）有多少對象被創建了。
安裝：
$ pipinstallguppy
下一步，像這樣添加到你的代碼中：
fromguppyimporthpy
defrandom_sort3(n):
hp = hpy()
print "Heap at the beginning of the functionn", hp.heap()
l = [random.random() for i in range(n)]
l.sort()
print "Heap at the end of the functionn", hp.heap()
return l
if __name__ == "__main__":
random_sort3(2000000)
并且這樣運行你的代碼：
$ pythontiming_functions.py
你將看到一些像下面的輸出：
通過配置 heap 在你的代碼的不同地方，你可以在腳本中學到對象的創建和銷毀。
來自：http://python.jobbole.com/86922/