# Python 多線程和鎖

cpupro 發(fā)布于2019-07-25 10:47 / 3268人閱讀

摘要：多線程和鎖作者博客進(jìn)程和線程進(jìn)程是執(zhí)行中的計(jì)算機(jī)程序。線程包括開(kāi)始執(zhí)行順序和結(jié)束三部分。的多進(jìn)程相關(guān)模塊模塊是高級(jí)別的多線程模塊。線程鎖當(dāng)多線程爭(zhēng)奪鎖時(shí)，允許第一個(gè)獲得鎖的線程進(jìn)入臨街區(qū)，并執(zhí)行代碼。

Python 多線程和鎖

作者博客：http://zzir.cn/

進(jìn)程和線程

進(jìn)程是執(zhí)行中的計(jì)算機(jī)程序。每個(gè)進(jìn)程都擁有自己的地址空間、內(nèi)存、數(shù)據(jù)棧及其它的輔助數(shù)據(jù)。操作系統(tǒng)管理著所有的進(jìn)程，并為這些進(jìn)程合理分配時(shí)間。進(jìn)程可以通過(guò)派生新的進(jìn)程來(lái)執(zhí)行其它任務(wù)，不過(guò)每個(gè)進(jìn)程都擁有自己的內(nèi)存和數(shù)據(jù)棧等，進(jìn)程之間的數(shù)據(jù)交換采用 進(jìn)程間通信(IPC) 方式。

線程在進(jìn)程之下執(zhí)行，一個(gè)進(jìn)程下可以運(yùn)行多個(gè)線程，它們之間共享相同上下文。線程包括開(kāi)始、執(zhí)行順序和結(jié)束三部分。它有一個(gè)指針，用于記錄當(dāng)前運(yùn)行的上下文。當(dāng)其它線程執(zhí)行時(shí)，它可以被搶占(中斷)和臨時(shí)掛起(也稱睡眠) ——這種做法叫做 讓步(yielding)。

一個(gè)進(jìn)程中的各個(gè)線程與主進(jìn)程共享同一片數(shù)據(jù)空間，與獨(dú)立進(jìn)程相比，線程之間信息共享和通信更加容易。線程一般以并發(fā)執(zhí)行，正是由于這種并發(fā)和數(shù)據(jù)共享機(jī)制，使多任務(wù)間的協(xié)作成為可能。當(dāng)然，這種共享也并不是沒(méi)有風(fēng)險(xiǎn)的，如果多個(gè)線程訪問(wèn)同一數(shù)據(jù)空間，由于訪問(wèn)順序不同，可能導(dǎo)致結(jié)果不一致，這種情況通常稱為競(jìng)態(tài)條件(race condition)，不過(guò)大多數(shù)線程庫(kù)都有同步原語(yǔ)，以允許線程管理器的控制執(zhí)行和訪問(wèn)；另一個(gè)要注意的問(wèn)題是，線程無(wú)法給予公平執(zhí)行時(shí)間，CPU 時(shí)間分配會(huì)傾向那些阻塞更少的函數(shù)。

全局解釋器鎖(GIL)

Python 代碼執(zhí)行由 Python 虛擬機(jī) (又名解釋器主循環(huán)) 進(jìn)行控制。Python 在設(shè)計(jì)時(shí)是這樣考慮的，在主循環(huán)中同時(shí)只能有一個(gè)控制線程在執(zhí)行。對(duì) Python 虛擬機(jī)的訪問(wèn)由 全局解釋器(GIL) 控制，這個(gè)鎖用于，當(dāng)有多個(gè)線程時(shí)保證同一時(shí)刻只能有一個(gè)線程在運(yùn)行。

由于 Python 的 GIL 的限制，多線程更適合 I/O 密集型應(yīng)用( I/O 釋放了 GIL，可以允許更多的并發(fā))，對(duì)于計(jì)算密集型應(yīng)用，為了實(shí)現(xiàn)更好的并行性，適合使用多進(jìn)程，已便利用 CPU 的多核優(yōu)勢(shì)。Python 的多進(jìn)程相關(guān)模塊：subprocess、multiprocessing、concurrent.futures

threading 模塊

threading 是 Python 高級(jí)別的多線程模塊。

threading 模塊的函數(shù)

active_count() 當(dāng)前活動(dòng)的 Thread 對(duì)象個(gè)數(shù)

current_thread() 返回當(dāng)前 Thread 對(duì)象

get_ident() 返回當(dāng)前線程

enumerater() 返回當(dāng)前活動(dòng) Thread 對(duì)象列表

main_thread() 返回主 Thread 對(duì)象

settrace(func) 為所有線程設(shè)置一個(gè) trace 函數(shù)

setprofile(func) 為所有線程設(shè)置一個(gè) profile 函數(shù)

stack_size([size]) 返回新創(chuàng)建線程棧大小；或?yàn)楹罄m(xù)創(chuàng)建的線程設(shè)定棧大小為 size

TIMEOUT_MAX Lock.acquire(), RLock.acquire(), Condition.wait() 允許的最大值

threading 可用對(duì)象列表：

Thread 表示執(zhí)行線程的對(duì)象

Lock 鎖原語(yǔ)對(duì)象

RLock 可重入鎖對(duì)象，使單一進(jìn)程再次獲得已持有的鎖(遞歸鎖)

Condition 條件變量對(duì)象，使得一個(gè)線程等待另一個(gè)線程滿足特定條件，比如改變狀態(tài)或某個(gè)值

Semaphore 為線程間共享的有限資源提供一個(gè)"計(jì)數(shù)器"，如果沒(méi)有可用資源會(huì)被阻塞

Event 條件變量的通用版本，任意數(shù)量的線程等待某個(gè)時(shí)間的發(fā)生，在改事件發(fā)生后所有線程被激活

Timer 與 Thread 相識(shí)，不過(guò)它要在運(yùn)行前等待一段時(shí)間

Barrier 創(chuàng)建一個(gè)"阻礙"，必須達(dá)到指定數(shù)量的線程后才可以繼續(xù)

Thread 類

Thread 對(duì)象的屬性有：Thread.name、Thread.ident、Thread.daemon。詳見(jiàn)(The Python Standard Library)

Thread 對(duì)象方法：
Thread.start()、Thread.run()、Thread.join(timeout=None)、Thread.getName、Thread.setName、Thread.is_alive()、Thread.isDaemon()、Thread.setDaemon()。詳見(jiàn)(The Python Standard Library)

使用 Thread 類，可以有很多種方法來(lái)創(chuàng)建線程，這里使用常見(jiàn)的兩種：

創(chuàng)建 Thread 實(shí)例，傳給它一個(gè)函數(shù)。

派生 Thread 子類，并創(chuàng)建子類的實(shí)例。

一個(gè)單線程栗子

#!/usr/bin/env python3

import threading
from random import randint
from time import sleep, ctime

def hi(n):
    sleep(n)
    print("ZzZzzz, sleep: ", n)    # 打印 Sleep 的秒數(shù)

def main():
    print("### Start at: ", ctime())

    for i in range(10):
        hi(randint(1,2))    # 調(diào)用十次，每次 Sleep 1秒或2秒

    print("### Done at: ", ctime())

if __name__ == "__main__":
    main()

運(yùn)行結(jié)果：

### Start at:  Thu Sep  1 14:11:00 2016
ZzZzzz, sleep:  1
ZzZzzz, sleep:  2
ZzZzzz, sleep:  2
ZzZzzz, sleep:  2
ZzZzzz, sleep:  1
ZzZzzz, sleep:  1
ZzZzzz, sleep:  1
ZzZzzz, sleep:  1
ZzZzzz, sleep:  1
ZzZzzz, sleep:  2
### Done at:  Thu Sep  1 14:11:14 2016

一共是用了14秒。

多線程：創(chuàng)建 Thread 實(shí)例，傳給它一個(gè)函數(shù)

直接上代碼：

#!/usr/bin/env python3

import threading
from random import randint
from time import sleep, ctime

def hi(n):
    sleep(n)
    print("ZzZzzz, sleep: ", n)

def main():
    print("### Start at: ", ctime())
    threads = []

    for i in range(10):
        rands = randint(1,2)
        # 實(shí)例化每個(gè) Thread 對(duì)象，把函數(shù)和參數(shù)傳遞進(jìn)去，返回 Thread 實(shí)例
        t = threading.Thread(target=hi, args=(rands,))
        threads.append(t)     # 分配線程

    for i in range(10):
        threads[i].start()    # 開(kāi)始執(zhí)行多線程

    for i in range(10):
        threads[i].join()     # (自旋鎖)等待線程結(jié)束或超時(shí)，然后再往下執(zhí)行

    print("### Done at: ", ctime())

if __name__ == "__main__":
    main()

運(yùn)行結(jié)果：

### Start at:  Thu Sep  1 14:18:00 2016
ZzZzzz, sleep:  1
ZzZzzz, sleep:  1
ZzZzzz, sleep:  1
ZzZzzz, sleep:  1
ZzZzzz, sleep:  1
ZzZzzz, sleep:  1
ZzZzzz, sleep:  2
ZzZzzz, sleep:  2
ZzZzzz, sleep:  2
ZzZzzz, sleep:  2
### Done at:  Thu Sep  1 14:18:02 2016

使用多線程，只用了2秒。

多線程：派生 Thread 子類，并創(chuàng)建子類的實(shí)例

#!/usr/bin/env python3

import threading
from random import randint
from time import sleep, ctime

class MyThread(threading.Thread):
 
    def __init__(self, func, args, times):
        super(MyThread, self).__init__()
        self.func = func
        self.args = args
        self.times = times
    
    def run(self):
        print("begin thread......", self.times)
        self.res = self.func(*self.args)
        print("end threads......", self.times)


def hi(n):
    sleep(n)
    print("ZzZzzz, sleep: ", n)

def main():
    print("### Start at: ", ctime())
    threads = []

    for i in range(10):
        rands = randint(1,2)
        t = MyThread(hi, (rands,), i+1)
        threads.append(t)

    for i in range(10):
        threads[i].start()

    for i in range(10):
        threads[i].join()

    print("### Done at: ", ctime())

if __name__ == "__main__":
    main()

執(zhí)行結(jié)果：

### Start at:  Thu Sep  1 14:47:09 2016
begin thread...... 1
begin thread...... 2
begin thread...... 3
begin thread...... 4
begin thread...... 5
begin thread...... 6
begin thread...... 7
begin thread...... 8
begin thread...... 9
begin thread...... 10
ZzZzzz, sleep:  1
ZzZzzz, sleep:  1
end threads...... 1
end threads...... 4
ZzZzzz, sleep:  1
end threads...... 7
ZzZzzz, sleep:  1
end threads...... 3
ZzZzzz, sleep:  1
end threads...... 9
ZzZzzz, sleep:  2
end threads...... 2
ZzZzzz, sleep:  2
end threads...... 5
ZzZzzz, sleep:  2
ZzZzzz, sleep:  2
end threads...... 10
end threads...... 6
ZzZzzz, sleep:  2
end threads...... 8
### Done at:  Thu Sep  1 14:47:11 2016

這個(gè)栗子對(duì) Thread 子類化，而不是對(duì)其實(shí)例化，使得定制線程對(duì)象更具靈活性，同時(shí)也簡(jiǎn)化線程創(chuàng)建的調(diào)用過(guò)程。

線程鎖

當(dāng)多線程爭(zhēng)奪鎖時(shí)，允許第一個(gè)獲得鎖的線程進(jìn)入臨街區(qū)，并執(zhí)行代碼。所有之后到達(dá)的線程將被阻塞，直到第一個(gè)線程執(zhí)行結(jié)束，退出臨街區(qū)，并釋放鎖。需要注意，那些阻塞的線程是沒(méi)有順序的。

舉個(gè)栗子：

#!/usr/bin/env python3

import threading
from random import randint
from time import sleep, ctime

L = threading.Lock() # 引入鎖

def hi(n):
    L.acquire()    # 加鎖
    for i in [1,2]:
        print(i)
        sleep(n)
        print("ZzZzzz, sleep: ", n)
    L.release()    # 釋放鎖

def main():
    print("### Start at: ", ctime())
    threads = []

    for i in range(10):
        rands = randint(1,2)
        t = threading.Thread(target=hi, args=(rands,))
        threads.append(t)

    for i in range(10):
        threads[i].start()

    for i in range(10):
        threads[i].join()

    print("### Done at: ", ctime())

if __name__ == "__main__":
    main()

運(yùn)行上面的代碼，再將鎖的代碼注釋掉，對(duì)比下輸出。