python多線程對多核cpu的利用解析

89542767 發(fā)布于2022-12-19 21:35 / 1002人閱讀

　　小編寫這篇文章的一個(gè)主要目的，主要是來給大家去做一個(gè)詳細(xì)解答，解答的內(nèi)容是對python多線程的一個(gè)相關(guān)理解，包括其對多核cpu利用的一個(gè)詳細(xì)解析，具體的內(nèi)容，請各位讀者仔細(xì)的進(jìn)行閱讀下文。

　　引言

　　我們經(jīng)常聽到"因?yàn)镚IL的存在，python的多線程不能利用多核CPU"，現(xiàn)在我們暫且不提GIL，python能不能利用多核cpu，今天我做了一個(gè)實(shí)驗(yàn)，代碼很簡單如下所示

　　while 1:
　　pass

　　沒有運(yùn)行這段代碼前cpu狀態(tài)

　　運(yùn)行之后的狀態(tài)

　　下面兩張圖是運(yùn)行之后的狀態(tài)，當(dāng)然這只是兩張比較有代表性的圖，截圖間隔有十幾秒的樣子

　　根據(jù)第一張圖我們發(fā)現(xiàn)cpu1、cpu3的負(fù)載有明顯增長，我們可以得出python線程是可以利用多核cpu的結(jié)論，之前一直以為python運(yùn)行后會綁定cpu其中的一個(gè)核心現(xiàn)在看來并不是這個(gè)樣子。第二張圖就比較有意思了cpu2滿載了，這又是為什么呢？

　　想來想去應(yīng)該是linux中cpu對進(jìn)程的親和性導(dǎo)致的，這種親和性是軟性的并不是強(qiáng)制的，這也就解釋了為什么第一張圖中是多cpu在負(fù)載。

　　ok為了更直觀的看出python線程能夠利用多核cpu，我們改下代碼，換一種方式再來看下

　　import os
　　while 1:
　　print os.getpid()#輸出進(jìn)程號

　　運(yùn)行代碼結(jié)果

　　一目了然，線程的確在不同的核心上切換。

　　現(xiàn)在我們回過頭看下那句經(jīng)典的話"因?yàn)镚IL的存在，python的多線程不能利用多核CPU"，這句話很容易讓人理解成GIL會讓python在一個(gè)核心上運(yùn)行，有了今天的例子我們再來重新理解這句話，GIL的存在讓python在同一時(shí)刻只能有一個(gè)線程在運(yùn)行，這毋庸置疑，但是它并沒有給線程鎖死或者說指定只能在某個(gè)cpu上運(yùn)行，另外我需要說明一點(diǎn)的是GIL是與進(jìn)程對應(yīng)的，每個(gè)進(jìn)程都有一個(gè)GIL。

　　python線程的執(zhí)行流程理解

　　線程——>搶GIL——>CPU

　　這種執(zhí)行流程導(dǎo)致了CPU密集型的多線程程序雖然能夠利用多核cpu時(shí)跟單核cpu是差不多的，并且由于多個(gè)線程搶GIL這個(gè)環(huán)節(jié)導(dǎo)致運(yùn)行效率<=單線程。

　　看到這可能會讓人產(chǎn)生一種錯(cuò)覺，有了GIL后python是線程安全的，好像根本不需要線程鎖，而實(shí)際情況是線程拿到CPU資源后并不是一直執(zhí)行的，python解釋器在執(zhí)行了該線程100條字節(jié)碼(注意是字節(jié)碼不是代碼)時(shí)會釋放掉該線程的GIL，如果這時(shí)候沒有加鎖那么其他線程就可能修改該線程用到的資源;

　　遇到IO也會釋放GIL

　　另外一個(gè)問題是遇到IO也會釋放GIL，下面是這兩種情況的例子

　　import threading
　　a=[]
　　def m1():
　　for _ in range(100000):
　　a.append(1)
　　def m2():
　　for _ in range(100000):
　　a.append(2)
　　def check():
　　"""
　　檢查a是否有序
　　"""
　　for i in range(len(a)):
　　if i!=0:
　　if a&lt;i&gt;&lt;a[i-1]:
　　print a[i-1],a&lt;i&gt;
　　return False
　　return True
　　t1=threading.Thread(target=m1)
　　t2=threading.Thread(target=m2)
　　t1.start()
　　t2.start()
　　t1.join()
　　t2.join()
　　print check()
　　預(yù)期1111...22222...，截圖顯示跟預(yù)期的不同
　　import threading
　　text1='1'*10000
　　text2='2'*10000
　　def write(text):
　　with open('test.txt','a')as f:
　　f.write(text)
　　def m1():
　　write(text1)
　　def m2():
　　write(text2)
　　t1=threading.Thread(target=m1)
　　t2=threading.Thread(target=m2)
　　t1.start()
　　t2.start()
　　t1.join()
　　t2.join()

　　test.txt截圖