摘要：使用的命令盡管如此，裝飾器和模塊都是基于的。這個(gè)模塊首先應(yīng)該被安裝，使用命令下一步，你需要指定你想使用裝飾器評估哪個(gè)函數(shù)你不需要把它到你的文件中。安裝也建議安裝包，使得模塊運(yùn)行的更快類似的方式，使用裝飾器來標(biāo)記哪個(gè)函數(shù)被跟蹤。

  
本文的作者是 Marina Mele，原文地址是 7 tips to Time Python scripts and control Memory & CPU usage

當(dāng)運(yùn)行一個(gè)復(fù)雜的 Python 程序，它需要很長時(shí)間來執(zhí)行。你或許想提升它的執(zhí)行時(shí)間。但如何做？

首先，你需要工具來查明你代碼的瓶頸，比如，那部分執(zhí)行花費(fèi)的時(shí)間長。用這個(gè)方法，你可以首先專注于提升這部分的速度。

而且，你也應(yīng)該控制內(nèi)存和 CPU 使用率，因?yàn)樗梢詾槟阒赋龅拇a可以改進(jìn)的新的部分。

所以，在本文中，我將對 7 個(gè)不同的 Python 工具發(fā)表意見，給你一些關(guān)于你函數(shù)執(zhí)行時(shí)間和內(nèi)存以及 CPU 使用率的見解。

測量一個(gè)函數(shù)最簡單的方式就是定義一個(gè)裝飾器來測量運(yùn)行該函數(shù)的運(yùn)行時(shí)間，并打印該結(jié)果：

import time
from functools import wraps


def fn_timer(function):
    @wraps(function)
    def function_timer(*args, **kwargs):
        t0 = time.time()
        result = function(*args, **kwargs)
        t1 = time.time()
        print ("Total time running %s: %s seconds" %
               (function.func_name, str(t1-t0))
               )
        return result
    return function_timer

這時(shí)，你已經(jīng)在你想測量的函數(shù)之前添加了裝飾器，像：

@fn_timer
def myfunction(...):
    ...

例如，讓我們測量下排序一個(gè) 2000000 個(gè)隨機(jī)數(shù)的數(shù)組會(huì)花費(fèi)多長時(shí)間：

@fn_timer
def random_sort(n):
    return sorted([random.random() for i in range(n)])


if __name__ == "__main__":
 random_sort(2000000)

如果你運(yùn)行你的腳本，你將看到：

Total time running random_sort: 1.41124916077 seconds

另外一個(gè)選項(xiàng)是使用 timeit 模塊，它給你測量一個(gè)平均時(shí)間。

為了運(yùn)行它，在你的終端執(zhí)行以下命令：

$ python -m timeit -n 4 -r 5 -s "import timing_functions" "timing_functions.random_sort(2000000)"

timing_functions 是你腳本的名字。

在輸出的最后，你會(huì)看到一些像這樣的東西：

4 loops, best of 5: 2.08 sec per loop

表明了運(yùn)行這個(gè)測試 4 次（-n 4），并在每個(gè)測試中重復(fù)平均 5 次（-r 5），最佳的結(jié)果是 2.08 秒。

如果你沒有指定測試或者重復(fù)，它默認(rèn)是 10 次循環(huán)和 5 次重復(fù)。

盡管如此，裝飾器和 timeit 模塊都是基于 Python 的。這就是為什么 unix time 工具或許有用，因?yàn)樗且粋€(gè)外部的 Python 測量。

為了運(yùn)行 time 工具類型：

$ time -p python timing_functions.py

將給出如下輸出：

Total time running random_sort: 1.3931210041 seconds
real         1.49
user         1.40
sys          0.08

第一行來自于我們定義的裝飾器，其他三行是：

real 表明了執(zhí)行腳本花費(fèi)的總時(shí)間

User 表明了執(zhí)行腳本花費(fèi)在的 CPU 時(shí)間

Sys 表明了執(zhí)行腳本花費(fèi)在內(nèi)核函數(shù)的時(shí)間

因此， real time 和 user+sys 相加的不同或許表明了時(shí)間花費(fèi)在等待 I/O 或者是系統(tǒng)在忙于執(zhí)行其他任務(wù)。

如果你想知道花費(fèi)在每個(gè)函數(shù)和方法上的時(shí)間，以及它們被調(diào)用了多少次，你可以使用 cProfile 模塊。

$ python -m cProfile -s cumulative timing_functions.py

現(xiàn)在你將看到你的代碼中每個(gè)函數(shù)被調(diào)用多少次的詳細(xì)描述，并且它將通過累積花費(fèi)在每個(gè)函數(shù)上面的時(shí)間來排序（感謝 -s cumulative 選項(xiàng)）

你將看到花費(fèi)在運(yùn)行你的腳本的總時(shí)間是比以前高的。這是我們測量每個(gè)函數(shù)執(zhí)行時(shí)間的損失。

line_profiler 給出了在你代碼每一行花費(fèi)的 CPU 時(shí)間。

這個(gè)模塊首先應(yīng)該被安裝，使用命令：

$ pip install line_profiler

下一步，你需要指定你想使用裝飾器 @profile 評估哪個(gè)函數(shù)（你不需要把它 import 到你的文件中）。

@profile
def random_sort2(n):
    l = [random.random() for i in range(n)]
    l.sort()
    return l

if __name__ == "__main__":
    random_sort2(2000000)

最后，你可以通過鍵入以下命令取得 random_sort2 函數(shù)逐行的描述：

$ kernprof -l -v timing_functions.py

-l 標(biāo)識表明了逐行和 -v 標(biāo)識表明詳細(xì)輸出。使用這個(gè)方法，我們看到了數(shù)組結(jié)構(gòu)花費(fèi)了 44% 的計(jì)算時(shí)間，sort() 方法花費(fèi)了剩余的 56%。

你也將看到，由于時(shí)間測量，這個(gè)腳本執(zhí)行花費(fèi)的或許更長。

memory_profiler 模塊被用于在逐行的基礎(chǔ)上，測量你代碼的內(nèi)存使用率。盡管如此，它可能使得你的代碼運(yùn)行的更慢。

安裝：

$ pip install memory_profiler

也建議安裝 psutil 包，使得 memory_profile 模塊運(yùn)行的更快：

$ pip install psutil

類似 line_profiler 的方式，使用裝飾器 @profile 來標(biāo)記哪個(gè)函數(shù)被跟蹤。下一步，鍵入：

$ python -m memory_profiler timing_functions.py

是的，前面的腳本比之前的 1 或 2 秒需要更長的時(shí)間。并且，如果你不安裝 psutil 模塊，你將一直等待結(jié)果。

看上面的輸出，注意內(nèi)存使用率的單位是 MiB，這代表的是兆字節(jié)（1MiB = 1.05MB）。

最后，使用這個(gè)包，你可以跟蹤每個(gè)類型在你代碼中每個(gè)階段（字符， 元組， 字典 等等）有多少對象被創(chuàng)建了。

安裝：

$ pip install guppy

下一步，像這樣添加到你的代碼中：

from guppy import hpy


def random_sort3(n):
    hp = hpy()
    print "Heap at the beginning of the function
", hp.heap()
    l = [random.random() for i in range(n)]
    l.sort()
    print "Heap at the end of the function
", hp.heap()
    return l


if __name__ == "__main__":
    random_sort3(2000000)

并且這樣運(yùn)行你的代碼：

$ python timing_functions.py

你將看到一些像下面的輸出：

通過配置 heap 在你的代碼的不同地方，你可以在腳本中學(xué)到對象的創(chuàng)建和銷毀。

如果你想學(xué)習(xí)更多提升你 Python 代碼的知識，我建議你看看 2014 年 11 月出版的 High Performance Python: Practical Performant Programming for Humans 這本書。