選擇了腳本語言就要忍受其速度,這句話在某種程度上說明了 python 作為腳本的一個不足之處,那就是執(zhí)行效率和性能不夠理想,特別是在 performance 較差的機(jī)器上,因此有必要進(jìn)行一定的代碼優(yōu)化來提高程序的執(zhí)行效率。如何進(jìn)行 Python 性能優(yōu)化,是本文探討的主要問題。本文會涉及常見的代碼優(yōu)化方法,性能優(yōu)化工具的使用以及如何診斷代碼的性能瓶頸等內(nèi)容,希望可以給 Python 開發(fā)人員一定的參考。
代碼優(yōu)化能夠讓程序運(yùn)行更快,它是在不改變程序運(yùn)行結(jié)果的情況下使得程序的運(yùn)行效率更高,根據(jù) 80/20 原則,實(shí)現(xiàn)程序的重構(gòu)、優(yōu)化、擴(kuò)展以及文檔相關(guān)的事情通常需要消耗 80% 的工作量。優(yōu)化通常包含兩方面的內(nèi)容:減小代碼的體積,提高代碼的運(yùn)行效率。
改進(jìn)算法,選擇合適的數(shù)據(jù)結(jié)構(gòu)
?
一個良好的算法能夠?qū)π阅芷鸬疥P(guān)鍵作用,因此性能改進(jìn)的首要點(diǎn)是對算法的改進(jìn)。在算法的時間復(fù)雜度排序上依次是:
?
O(1) -> O(lg n) -> O(n lg n) -> O(n^2) -> O(n^3) -> O(n^k) -> O(k^n) -> O(n!)
?
因此如果能夠在時間復(fù)雜度上對算法進(jìn)行一定的改進(jìn),對性能的提高不言而喻。但對具體算法的改進(jìn)不屬于本文討論的范圍,讀者可以自行參考這方面資料。下面的內(nèi)容將集中討論數(shù)據(jù)結(jié)構(gòu)的選擇。
??字典 (dictionary) 與列表 (list)
?
Python 字典中使用了 hash table,因此查找操作的復(fù)雜度為 O(1),而 list 實(shí)際是個數(shù)組,在 list 中,查找需要遍歷整個 list,其復(fù)雜度為 O(n),因此對成員的查找訪問等操作字典要比 list 更快。
?
清單 1. 代碼 dict.py
from time import time
?t = time()
?list = ['a','b','is','python','jason','hello','hill','with','phone','test',
'dfdf','apple','pddf','ind','basic','none','baecr','var','bana','dd','wrd']
?#list = dict.fromkeys(list,True)
?print list
?filter = []
?for i in range (1000000):
???? for find in ['is','hat','new','list','old','.']:
???????? if find not in list:
???????????? filter.append(find)
?print "total run time:"
?print time()-t
上述代碼運(yùn)行大概需要 16.09seconds。如果去掉行 #list = dict.fromkeys(list,True) 的注釋,將 list 轉(zhuǎn)換為字典之后再運(yùn)行,時間大約為 8.375 seconds,效率大概提高了一半。因此在需要多數(shù)據(jù)成員進(jìn)行頻繁的查找或者訪問的時候,使用 dict 而不是 list 是一個較好的選擇。
??集合 (set) 與列表 (list)
?
set 的 union, intersection,difference 操作要比 list 的迭代要快。因此如果涉及到求 list 交集,并集或者差的問題可以轉(zhuǎn)換為 set 來操作。
?
清單 2. 求 list 的交集:
from time import time
?t = time()
?lista=[1,2,3,4,5,6,7,8,9,13,34,53,42,44]
?listb=[2,4,6,9,23]
?intersection=[]
?for i in range (1000000):
???? for a in lista:
???????? for b in listb:
???????????? if a == b:
???????????????? intersection.append(a)
?print "total run time:"
?print time()-t
上述程序的運(yùn)行時間大概為:
total run time:
38.4070000648
清單 3. 使用 set 求交集
from time import time
?t = time()
?lista=[1,2,3,4,5,6,7,8,9,13,34,53,42,44]
?listb=[2,4,6,9,23]
?intersection=[]
?for i in range (1000000):
???? list(set(lista)&set(listb))
?print "total run time:"
?print time()-t
改為 set 后程序的運(yùn)行時間縮減為 8.75,提高了 4 倍多,運(yùn)行時間大大縮短。讀者可以自行使用表 1 其他的操作進(jìn)行測試。
?
表 1. set 常見用法
語法 | 操作 | 說明 |
---|---|---|
set(list1) | set(list2) | union | 包含 list1 和 list2 所有數(shù)據(jù)的新集合 |
set(list1) & set(list2) | intersection | 包含 list1 和 list2 中共同元素的新集合 |
set(list1) ?C set(list2) | difference | 在 list1 中出現(xiàn)但不在 list2 中出現(xiàn)的元素的集合 |
對循環(huán)的優(yōu)化
?
對循環(huán)的優(yōu)化所遵循的原則是盡量減少循環(huán)過程中的計(jì)算量,有多重循環(huán)的盡量將內(nèi)層的計(jì)算提到上一層。 下面通過實(shí)例來對比循環(huán)優(yōu)化后所帶來的性能的提高。程序清單 4 中,如果不進(jìn)行循環(huán)優(yōu)化,其大概的運(yùn)行時間約為 132.375。
?
清單 4. 為進(jìn)行循環(huán)優(yōu)化前
from time import time
?t = time()
?lista = [1,2,3,4,5,6,7,8,9,10]
?listb =[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.01]
?for i in range (1000000):
???? for a in range(len(lista)):
???????? for b in range(len(listb)):
???????????? x=lista[a]+listb[b]
?print "total run time:"
?print time()-t
現(xiàn)在進(jìn)行如下優(yōu)化,將長度計(jì)算提到循環(huán)外,range 用 xrange 代替,同時將第三層的計(jì)算 lista[a] 提到循環(huán)的第二層。
?
清單 5. 循環(huán)優(yōu)化后
from time import time
?t = time()
?lista = [1,2,3,4,5,6,7,8,9,10]
?listb =[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.01]
?len1=len(lista)
?len2=len(listb)
?for i in xrange (1000000):
???? for a in xrange(len1):
???????? temp=lista[a]
???????? for b in xrange(len2):
???????????? x=temp+listb[b]
?print "total run time:"
?print time()-t
上述優(yōu)化后的程序其運(yùn)行時間縮短為 102.171999931。在清單 4 中 lista[a] 被計(jì)算的次數(shù)為 1000000*10*10,而在優(yōu)化后的代碼中被計(jì)算的次數(shù)為 1000000*10,計(jì)算次數(shù)大幅度縮短,因此性能有所提升。
?
充分利用 Lazy if-evaluation 的特性
?
python 中條件表達(dá)式是 lazy evaluation 的,也就是說如果存在條件表達(dá)式 if x and y,在 x 為 false 的情況下 y 表達(dá)式的值將不再計(jì)算。因此可以利用該特性在一定程度上提高程序效率。
?
清單 6. 利用 Lazy if-evaluation 的特性
from time import time
?t = time()
?abbreviations = ['cf.', 'e.g.', 'ex.', 'etc.', 'fig.', 'i.e.', 'Mr.', 'vs.']
?for i in range (1000000):
???? for w in ('Mr.', 'Hat', 'is', 'chasing', 'the', 'black', 'cat', '.'):
???????? if w in abbreviations:
???????? #if w[-1] == '.' and w in abbreviations:
???????????? pass
?print "total run time:"
?print time()-t
在未進(jìn)行優(yōu)化之前程序的運(yùn)行時間大概為 8.84,如果使用注釋行代替第一個 if,運(yùn)行的時間大概為 6.17。
?
字符串的優(yōu)化
?
python 中的字符串對象是不可改變的,因此對任何字符串的操作如拼接,修改等都將產(chǎn)生一個新的字符串對象,而不是基于原字符串,因此這種持續(xù)的 copy 會在一定程度上影響 python 的性能。對字符串的優(yōu)化也是改善性能的一個重要的方面,特別是在處理文本較多的情況下。字符串的優(yōu)化主要集中在以下幾個方面:
?1.在字符串連接的使用盡量使用 join() 而不是 +:在代碼清單 7 中使用 + 進(jìn)行字符串連接大概需要 0.125 s,而使用 join 縮短為 0.016s。因此在字符的操作上 join 比 + 要快,因此要盡量使用 join 而不是 +。
?
清單 7. 使用 join 而不是 + 連接字符串
from time import time
?t = time()
?s = ""
?list = ['a','b','b','d','e','f','g','h','i','j','k','l','m','n']
?for i in range (10000):
???? for substr in list:
???????? s+= substr????
?print "total run time:"
?print time()-t
同時要避免:
s = ""
?for x in list:
??? s += func(x)
而是要使用:
slist = [func(elt) for elt in somelist]
?s = "".join(slist)
2.當(dāng)對字符串可以使用正則表達(dá)式或者內(nèi)置函數(shù)來處理的時候,選擇內(nèi)置函數(shù)。如 str.isalpha(),str.isdigit(),str.startswith((‘x', ‘yz')),str.endswith((‘x', ‘yz'))
?
3.對字符進(jìn)行格式化比直接串聯(lián)讀取要快,因此要使用
out = "%s%s%s%s" % (head, prologue, query, tail)
而避免
out = "" + head + prologue + query + tail + ""
使用列表解析(list comprehension)和生成器表達(dá)式(generator expression)
?
列表解析要比在循環(huán)中重新構(gòu)建一個新的 list 更為高效,因此我們可以利用這一特性來提高運(yùn)行的效率。
from time import time
?t = time()
?list = ['a','b','is','python','jason','hello','hill','with','phone','test',
'dfdf','apple','pddf','ind','basic','none','baecr','var','bana','dd','wrd']
?total=[]
?for i in range (1000000):
???? for w in list:
???????? total.append(w)
?print "total run time:"
?print time()-t
使用列表解析:
for i in range (1000000):
???? a = [w for w in list]
上述代碼直接運(yùn)行大概需要 17s,而改為使用列表解析后 ,運(yùn)行時間縮短為 9.29s。將近提高了一半。生成器表達(dá)式則是在 2.4 中引入的新內(nèi)容,語法和列表解析類似,但是在大數(shù)據(jù)量處理時,生成器表達(dá)式的優(yōu)勢較為明顯,它并不創(chuàng)建一個列表,只是返回一個生成器,因此效率較高。在上述例子上中代碼 a = [w for w in list] 修改為 a = (w for w in list),運(yùn)行時間進(jìn)一步減少,縮短約為 2.98s。
?
其他優(yōu)化技巧
?
1、如果需要交換兩個變量的值使用 a,b=b,a 而不是借助中間變量 t=a;a=b;b=t;
>>> from timeit import Timer
?>>> Timer("t=a;a=b;b=t","a=1;b=2").timeit()
?0.25154118749729365
?>>> Timer("a,b=b,a","a=1;b=2").timeit()
?0.17156677734181258
?>>>
2、在循環(huán)的時候使用 xrange 而不是 range;使用 xrange 可以節(jié)省大量的系統(tǒng)內(nèi)存,因?yàn)?xrange() 在序列中每次調(diào)用只產(chǎn)生一個整數(shù)元素。而 range() ?⒅苯臃禱贗暾?的元素列表,用于循環(huán)時會有不必要的開銷。在 python3 中 xrange 不再存在,里面 range 提供一個可以遍歷任意長度的范圍的 iterator。
?
3、使用局部變量,避免”global” 關(guān)鍵字。python 訪問局部變量會比全局變量要快得多,因 此可以利用這一特性提升性能。
?
4、if done is not None 比語句 if done != None 更快,讀者可以自行驗(yàn)證;
?
5、在耗時較多的循環(huán)中,可以把函數(shù)的調(diào)用改為內(nèi)聯(lián)的方式;
?
6、使用級聯(lián)比較 “x < y < z” 而不是 “x < y and y < z”;
?
7、while 1 要比 while True 更快(當(dāng)然后者的可讀性更好);
?
8、build in 函數(shù)通常較快,add(a,b) 要優(yōu)于 a+b。
?
定位程序性能瓶頸
?
對代碼優(yōu)化的前提是需要了解性能瓶頸在什么地方,程序運(yùn)行的主要時間是消耗在哪里,對于比較復(fù)雜的代碼可以借助一些工具來定位,python 內(nèi)置了豐富的性能分析工具,如 profile,cProfile 與 hotshot 等。其中 Profiler 是 python 自帶的一組程序,能夠描述程序運(yùn)行時候的性能,并提供各種統(tǒng)計(jì)幫助用戶定位程序的性能瓶頸。Python 標(biāo)準(zhǔn)模塊提供三種 profilers:cProfile,profile 以及 hotshot。
?
profile 的使用非常簡單,只需要在使用之前進(jìn)行 import 即可。具體實(shí)例如下:
?
清單 8. 使用 profile 進(jìn)行性能分析
import profile
?def profileTest():
??? Total =1;
??? for i in range(10):
??????? Total=Total*(i+1)
??????? print Total
??? return Total
?if __name__ == "__main__":
??? profile.run("profileTest()")
程序的運(yùn)行結(jié)果如下:
?
圖 1. 性能分析結(jié)果
其中輸出每列的具體解釋如下:
??ncalls:表示函數(shù)調(diào)用的次數(shù);
??tottime:表示指定函數(shù)的總的運(yùn)行時間,除掉函數(shù)中調(diào)用子函數(shù)的運(yùn)行時間;
??percall:(第一個 percall)等于 tottime/ncalls;
??cumtime:表示該函數(shù)及其所有子函數(shù)的調(diào)用運(yùn)行的時間,即函數(shù)開始調(diào)用到返回的時間;
??percall:(第二個 percall)即函數(shù)運(yùn)行一次的平均時間,等于 cumtime/ncalls;
??filename:lineno(function):每個函數(shù)調(diào)用的具體信息;
?
如果需要將輸出以日志的形式保存,只需要在調(diào)用的時候加入另外一個參數(shù)。如 profile.run(“profileTest()”,”testprof”)。
?
對于 profile 的剖析數(shù)據(jù),如果以二進(jìn)制文件的時候保存結(jié)果的時候,可以通過 pstats 模塊進(jìn)行文本報表分析,它支持多種形式的報表輸出,是文本界面下一個較為實(shí)用的工具。使用非常簡單:
import pstats
?p = pstats.Stats('testprof')
?p.sort_stats("name").print_stats()
其中 sort_stats() 方法能夠?qū)ζ史謹(jǐn)?shù)據(jù)進(jìn)行排序, 可以接受多個排序字段,如 sort_stats(‘name', ‘file') 將首先按照函數(shù)名稱進(jìn)行排序,然后再按照文件名進(jìn)行排序。常見的排序字段有 calls( 被調(diào)用的次數(shù) ),time(函數(shù)內(nèi)部運(yùn)行時間),cumulative(運(yùn)行的總時間)等。此外 pstats 也提供了命令行交互工具,執(zhí)行 python ?C m pstats 后可以通過 help 了解更多使用方式。
?
對于大型應(yīng)用程序,如果能夠?qū)⑿阅芊治龅慕Y(jié)果以圖形的方式呈現(xiàn),將會非常實(shí)用和直觀,常見的可視化工具有 Gprof2Dot,visualpytune,KCacheGrind 等,讀者可以自行查閱相關(guān)官網(wǎng),本文不做詳細(xì)討論。
?
Python 性能優(yōu)化工具
?
Python 性能優(yōu)化除了改進(jìn)算法,選用合適的數(shù)據(jù)結(jié)構(gòu)之外,還有幾種關(guān)鍵的技術(shù),比如將關(guān)鍵 python 代碼部分重寫成 C 擴(kuò)展模塊,或者選用在性能上更為優(yōu)化的解釋器等,這些在本文中統(tǒng)稱為優(yōu)化工具。python 有很多自帶的優(yōu)化工具,如 Psyco,Pypy,Cython,Pyrex 等,這些優(yōu)化工具各有千秋,本節(jié)選擇幾種進(jìn)行介紹。
?
Psyco
?
psyco 是一個 just-in-time 的編譯器,它能夠在不改變源代碼的情況下提高一定的性能,Psyco 將操作編譯成有點(diǎn)優(yōu)化的機(jī)器碼,其操作分成三個不同的級別,有”運(yùn)行時”、”編譯時”和”虛擬時”變量。并根據(jù)需要提高和降低變量的級別。運(yùn)行時變量只是常規(guī) Python 解釋器處理的原始字節(jié)碼和對象結(jié)構(gòu)。一旦 Psyco 將操作編譯成機(jī)器碼,那么編譯時變量就會在機(jī)器寄存器和可直接訪問的內(nèi)存位置中表示。同時 python 能高速緩存已編譯的機(jī)器碼以備今后重用,這樣能節(jié)省一點(diǎn)時間。但 Psyco 也有其缺點(diǎn),其本身運(yùn)行所占內(nèi)存較大。目前 psyco 已經(jīng)不在 python2.7 中支持,而且不再提供維護(hù)和更新了,對其感興趣的可以參考 http://psyco.sourceforge.net/
?
Pypy
?
PyPy 表示 “用 Python 實(shí)現(xiàn)的 Python”,但實(shí)際上它是使用一個稱為 RPython 的 Python 子集實(shí)現(xiàn)的,能夠?qū)?Python 代碼轉(zhuǎn)成 C, .NET, Java 等語言和平臺的代碼。PyPy 集成了一種即時 (JIT) 編譯器。和許多編譯器,解釋器不同,它不關(guān)心 Python 代碼的詞法分析和語法樹。 因?yàn)樗怯?Python 語言寫的,所以它直接利用 Python 語言的 Code Object.。 Code Object 是 Python 字節(jié)碼的表示,也就是說, PyPy 直接分析 Python 代碼所對應(yīng)的字節(jié)碼 ,,這些字節(jié)碼即不是以字符形式也不是以某種二進(jìn)制格式保存在文件中, 而在 Python 運(yùn)行環(huán)境中。目前版本是 1.8. 支持不同的平臺安裝,windows 上安裝 Pypy 需要先下載 https://bitbucket.org/pypy/pypy/downloads/pypy-1.8-win32.zip,然后解壓到相關(guān)的目錄,并將解壓后的路徑添加到環(huán)境變量 path 中即可。在命令行運(yùn)行 pypy,如果出現(xiàn)如下錯誤:”沒有找到 MSVCR100.dll, 因此這個應(yīng)用程序未能啟動,重新安裝應(yīng)用程序可能會修復(fù)此問題”,則還需要在微軟的官網(wǎng)上下載 VS 2010 runtime libraries 解決該問題。具體地址為http://www.microsoft.com/download/en/details.aspx?displaylang=en&id=5555
?
安裝成功后在命令行里運(yùn)行 pypy,輸出結(jié)果如下:
C:\Documents and Settings\Administrator>pypy
?Python 2.7.2 (0e28b379d8b3, Feb 09 2012, 18:31:47)
?[PyPy 1.8.0 with MSC v.1500 32 bit] on win32
?Type "help", "copyright", "credits" or "license" for more information.
?And now for something completely different: ``PyPy is vast, and contains
?multitudes''
?>>>>
以清單 5 的循環(huán)為例子,使用 python 和 pypy 分別運(yùn)行,得到的運(yùn)行結(jié)果分別如下:
C:\Documents and Settings\Administrator\ 桌面 \doc\python>pypy loop.py
?total run time:
?8.42199993134
?C:\Documents and Settings\Administrator\ 桌面 \doc\python>python loop.py
?total run time:
?106.391000032
可見使用 pypy 來編譯和運(yùn)行程序,其效率大大的提高。
?
Cython
?
Cython 是用 python 實(shí)現(xiàn)的一種語言,可以用來寫 python 擴(kuò)展,用它寫出來的庫都可以通過 import 來載入,性能上比 python 的快。cython 里可以載入 python 擴(kuò)展 ( 比如 import math),也可以載入 c 的庫的頭文件 ( 比如 :cdef extern from “math.h”),另外也可以用它來寫 python 代碼。將關(guān)鍵部分重寫成 C 擴(kuò)展模塊
?
Linux Cpython 的安裝:
?
第一步:下載
[root@v5254085f259 cpython]# wget -N http://cython.org/release/Cython-0.15.1.zip
?--2012-04-16 22:08:35--? http://cython.org/release/Cython-0.15.1.zip
?Resolving cython.org... 128.208.160.197
?Connecting to cython.org|128.208.160.197|:80... connected.
?HTTP request sent, awaiting response... 200 OK
?Length: 2200299 (2.1M) [application/zip]
?Saving to: `Cython-0.15.1.zip'
?100%[======================================>] 2,200,299?? 1.96M/s?? in 1.1s
?2012-04-16 22:08:37 (1.96 MB/s) - `Cython-0.15.1.zip' saved [2200299/2200299]
第二步:解壓
[root@v5254085f259 cpython]# unzip -o Cython-0.15.1.zip
第三步:安裝
python setup.py install
安裝完成后直接輸入 cython,如果出現(xiàn)如下內(nèi)容則表明安裝成功。
[root@v5254085f259 Cython-0.15.1]# cython
?Cython ( http://cython.org) is a compiler for code written in the
?Cython language.? Cython is based on Pyrex by Greg Ewing.
?Usage: cython [options] sourcefile.{pyx,py} ...
?Options:
? -V, --version????????????????? Display version number of cython compiler
? -l, --create-listing?????????? Write error messages to a listing file
? -I, --include-dir
???????????????????????????????? (multiple include directories are allowed).
? -o, --output-file
? -t, --timestamps?????????????? Only compile newer source files
? -f, --force??????????????????? Compile all source files (overrides implied -t)
? -q, --quiet??????????????????? Don't print module names in recursive mode
? -v, --verbose????????????????? Be verbose, print file names on multiple compil ation
? -p, --embed-positions????????? If specified, the positions in Cython files of each
? function definition is embedded in its docstring.
? --cleanup
? Release interned objects on python exit, for memory debugging.
??? Level indicates aggressiveness, default 0 releases nothing.
? -w, --working
? Sets the working directory for Cython (the directory modules are searched from)
? --gdb Output debug information for cygdb
? -D, --no-docstrings
????????????? Strip docstrings from the compiled module.
? -a, --annotate
????????????? Produce a colorized HTML version of the source.
? --line-directives
????????????? Produce #line directives pointing to the .pyx source
? --cplus
????????????? Output a C++ rather than C file.
? --embed[=
????????????? Generate a main() function that embeds the Python interpreter.
? -2????????? Compile based on Python-2 syntax and code seman tics.
? -3????????? Compile based on Python-3 syntax and code seman tics.
? --fast-fail???? Abort the compilation on the first error
? --warning-error, -Werror?????? Make all warnings into errors
? --warning-extra, -Wextra?????? Enable extra warnings
? -X, --directive
? [,
其他平臺上的安裝可以參考文檔:http://docs.cython.org/src/quickstart/install.html
?
Cython 代碼與 python 不同,必須先編譯,編譯一般需要經(jīng)過兩個階段,將 pyx 文件編譯為 .c 文件,再將 .c 文件編譯為 .so 文件。編譯有多種方法:
??通過命令行編譯:假設(shè)有如下測試代碼,使用命令行編譯為 .c 文件。
def sum(int a,int b):
??????? print a+b
?[root@v5254085f259 test]# cython sum.pyx
?[root@v5254085f259 test]# ls
?total 76
?4 drwxr-xr-x 2 root root? 4096 Apr 17 02:45 .
?4 drwxr-xr-x 4 root root? 4096 Apr 16 22:20 ..
?4 -rw-r--r-- 1 root root??? 35 Apr 17 02:45 1
?60 -rw-r--r-- 1 root root 55169 Apr 17 02:45 sum.c
?4 -rw-r--r-- 1 root root??? 35 Apr 17 02:45 sum.pyx
在 linux 上利用 gcc 編譯為 .so 文件:
[root@v5254085f259 test]# gcc -shared -pthread -fPIC -fwrapv -O2
?-Wall -fno-strict-aliasing -I/usr/include/python2.4 -o sum.so sum.c
?[root@v5254085f259 test]# ls
?total 96
?4 drwxr-xr-x 2 root root? 4096 Apr 17 02:47 .
?4 drwxr-xr-x 4 root root? 4096 Apr 16 22:20 ..
?4 -rw-r--r-- 1 root root??? 35 Apr 17 02:45 1
?60 -rw-r--r-- 1 root root 55169 Apr 17 02:45 sum.c
?4 -rw-r--r-- 1 root root??? 35 Apr 17 02:45 sum.pyx
?20 -rwxr-xr-x 1 root root 20307 Apr 17 02:47 sum.so
使用 distutils 編譯
?
建立一個 setup.py 的腳本:
from distutils.core import setup
?from distutils.extension import Extension
?from Cython.Distutils import build_ext
?ext_modules = [Extension("sum", ["sum.pyx"])]
?setup(
??? name = 'sum app',
??? cmdclass = {'build_ext': build_ext},
??? ext_modules = ext_modules
?)
?[root@v5254085f259 test]#? python setup.py build_ext --inplace
?running build_ext
?cythoning sum.pyx to sum.c
?building 'sum' extension
?gcc -pthread -fno-strict-aliasing -fPIC -g -O2 -DNDEBUG -g -fwrapv -O3
?-Wall -Wstrict-prototypes -fPIC -I/opt/ActivePython-2.7/include/python2.7
? -c sum.c -o build/temp.linux-x86_64-2.7/sum.o
?gcc -pthread -shared build/temp.linux-x86_64-2.7/sum.o
?-o /root/cpython/test/sum.so
編譯完成之后可以導(dǎo)入到 python 中使用:
[root@v5254085f259 test]# python
?ActivePython 2.7.2.5 (ActiveState Software Inc.) based on
?Python 2.7.2 (default, Jun 24 2011, 11:24:26)
?[GCC 4.0.2 20051125 (Red Hat 4.0.2-8)] on linux2
?Type "help", "copyright", "credits" or "license" for more information.
?>>> import pyximport; pyximport.install()
?>>> import sum
?>>> sum.sum(1,3)
下面來進(jìn)行一個簡單的性能比較:
?
清單 9. Cython 測試代碼
from time import time
?def test(int n):
??????? cdef int a =0
??????? cdef int i
??????? for i in xrange(n):
??????????????? a+= i
??????? return a
?t = time()
?test(10000000)
?print "total run time:"
?print time()-t
測試結(jié)果:
[GCC 4.0.2 20051125 (Red Hat 4.0.2-8)] on linux2
?Type "help", "copyright", "credits" or "license" for more information.
?>>> import pyximport; pyximport.install()
?>>> import ctest
?total run time:
?0.00714015960693
清單 10. Python 測試代碼
from time import time
?def test(n):
??????? a =0;
??????? for i in xrange(n):
??????????????? a+= i
??????? return a
?t = time()
?test(10000000)
?print "total run time:"
?print time()-t
?[root@v5254085f259 test]# python test.py
?total run time:
?0.971596002579
從上述對比可以看到使用 Cython 的速度提高了將近 100 多倍。
總結(jié)
?
本文初步探討了 python 常見的性能優(yōu)化技巧以及如何借助工具來定位和分析程序的性能瓶頸,并提供了相關(guān)可以進(jìn)行性能優(yōu)化的工具或語言,希望能夠更相關(guān)人員一些參考。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
