深入理解Python中的ThreadLocal變量（上）

huangjinnan 發布于2019-07-25 10:44 / 572人閱讀

摘要：我們知道多線程環境下，每一個線程均可以使用所屬進程的全局變量。在線程中使用局部變量則不存在這個問題，因為每個線程的局部變量不能被其他線程訪問。

我們知道多線程環境下，每一個線程均可以使用所屬進程的全局變量。如果一個線程對全局變量進行了修改，將會影響到其他所有的線程。為了避免多個線程同時對變量進行修改，引入了線程同步機制，通過互斥鎖，條件變量或者讀寫鎖來控制對全局變量的訪問。

只用全局變量并不能滿足多線程環境的需求，很多時候線程還需要擁有自己的私有數據，這些數據對于其他線程來說不可見。因此線程中也可以使用局部變量，局部變量只有線程自身可以訪問，同一個進程下的其他線程不可訪問。

有時候使用局部變量不太方便，因此 python 還提供了 ThreadLocal 變量，它本身是一個全局變量，但是每個線程卻可以利用它來保存屬于自己的私有數據，這些私有數據對其他線程也是不可見的。下圖給出了線程中這幾種變量的存在情況：

全局 VS 局部變量

首先借助一個小程序來看看多線程環境下全局變量的同步問題。

import threading
global_num = 0

def thread_cal():
    global global_num
    for i in xrange(1000):
        global_num += 1

# Get 10 threads, run them and wait them all finished.
threads = []
for i in range(10):
    threads.append(threading.Thread(target=thread_cal))
    threads[i].start()
for i in range(10):
    threads[i].join()

# Value of global variable can be confused.
print global_num

這里我們創建了10個線程，每個線程均對全局變量 global_num 進行1000次的加1操作（循環1000次加1是為了延長單個線程執行時間，使線程執行時被中斷切換），當10個線程執行完畢時，全局變量的值是多少呢？答案是不確定。簡單來說是因為 global_num += 1 并不是一個原子操作，因此執行過程可能被其他線程中斷，導致其他線程讀到一個臟值。以兩個線程執行 +1 為例，其中一個可能的執行序列如下（此情況下最后結果為1）：

多線程中使用全局變量時普遍存在這個問題，解決辦法也很簡單，可以使用互斥鎖、條件變量或者是讀寫鎖。下面考慮用互斥鎖來解決上面代碼的問題，只需要在進行 +1 運算前加鎖，運算完畢釋放鎖即可，這樣就可以保證運算的原子性。

l = threading.Lock()
...
    l.acquire()
    global_num += 1
    l.release()

在線程中使用局部變量則不存在這個問題，因為每個線程的局部變量不能被其他線程訪問。下面我們用10個線程分別對各自的局部變量進行1000次加1操作，每個線程結束時打印一共執行的操作次數（每個線程均為1000）：

def show(num):
    print threading.current_thread().getName(), num

def thread_cal():
    local_num = 0
    for _ in xrange(1000):
        local_num += 1
    show(local_num)

threads = []
for i in range(10):
    threads.append(threading.Thread(target=thread_cal))
    threads[i].start()

可以看出這里每個線程都有自己的 local_num，各個線程之間互不干涉。

Thread-local 對象

上面程序中我們需要給 show 函數傳遞 local_num 局部變量，并沒有什么不妥。不過考慮在實際生產環境中，我們可能會調用很多函數，每個函數都需要很多局部變量，這時候用傳遞參數的方法會很不友好。

為了解決這個問題，一個直觀的的方法就是建立一個全局字典，保存進程 ID 到該進程局部變量的映射關系，運行中的線程可以根據自己的 ID 來獲取本身擁有的數據。這樣，就可以避免在函數調用中傳遞參數，如下示例：

global_data = {}
def show():
    cur_thread = threading.current_thread()
    print cur_thread.getName(), global_data[cur_thread]

def thread_cal():
    global global_data
    cur_thread = threading.current_thread()
    global_data[cur_thread] = 0
    for _ in xrange(1000):
        global_data[cur_thread] += 1
    show()  # Need no local variable.  Looks good.
...

保存一個全局字典，然后將線程標識符作為key，相應線程的局部數據作為 value，這種做法并不完美。首先，每個函數在需要線程局部數據時，都需要先取得自己的線程ID，略顯繁瑣。更糟糕的是，這里并沒有真正做到線程之間數據的隔離，因為每個線程都可以讀取到全局的字典，每個線程都可以對字典內容進行更改。

為了更好解決這個問題，python 線程庫實現了 ThreadLocal 變量（很多語言都有類似的實現，比如Java）。ThreadLocal 真正做到了線程之間的數據隔離，并且使用時不需要手動獲取自己的線程 ID，如下示例：

global_data = threading.local()

def show():
    print threading.current_thread().getName(), global_data.num

def thread_cal():
    global_data.num = 0
    for _ in xrange(1000):
        global_data.num += 1
    show()

threads = []
...

print "Main thread: ", global_data.__dict__ # {}

上面示例中每個線程都可以通過 global_data.num 獲得自己獨有的數據，并且每個線程讀取到的 global_data 都不同，真正做到線程之間的隔離。

ThreadLocal 實現的代碼量不多，但是比較難理解，涉及很多 Python 黑魔法，下篇再來分析。那么 ThreadLocal 很完美了？不！Python 的 WSGI 工具庫 werkzeug 中有一個更好的 ThreadLocal 實現，甚至支持協程之間的私有數據，實現更加復雜，有機會再分析。

更多閱讀

Thread local storage in Python
threading – Manage concurrent threads
Python線程同步機制
Linux多線程與同步
Are local variables in a python function thread safe?

本文由 selfboot 發表于個人博客，采用署名-非商業性使用-相同方式共享 3.0 中國大陸許可協議。
非商業轉載請注明作者及出處。商業轉載請聯系作者本人。
本文標題為: ThreadLocal之應用篇
本文鏈接為: http://selfboot.cn/2016/08/22...

GPU云服務器云服務器深入理解python 深入理解系列深入理解linux 深入理解webrtc

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/38132.html

深入理解Python中的ThreadLocal變量（中）

摘要：在深入理解中的變量上中我們看到的引入，使得可以很方便地在多線程環境中使用局部變量。特別需要注意的是，基類的并不會屏蔽派生類中的創建。到此，整個源碼核心部分已經理解的差不多了，只剩下用來執行清除工作。在深入理解Python中的ThreadLocal變量（上）中我們看到 ThreadLocal 的引入，使得可以很方便地在多線程環境中使用局部變量。如此美妙的功能到底是怎樣實現的？如果你...

DataPipeline 2019-07-25 10:44 評論0 收藏0
深入理解Python中的ThreadLocal變量（下）

摘要：具體怎么實現的呢，思想其實特別簡單，我們在深入理解中的變量上一文的最后有提起過，就是創建一個全局字典，然后將線程或者協程標識符作為，相應線程或協程的局部數據作為。在上篇我們看到了 ThreadLocal 變量的簡單使用，中篇對python中 ThreadLocal 的實現進行了分析，但故事還沒有結束。本篇我們一起來看下Werkzeug中ThreadLocal的設計。 Werkzeug...

dadong 2019-07-31 10:51 評論0 收藏0
Java 總結

摘要：中的詳解必修個多線程問題總結個多線程問題總結有哪些源代碼看了后讓你收獲很多，代碼思維和能力有較大的提升有哪些源代碼看了后讓你收獲很多，代碼思維和能力有較大的提升開源的運行原理從虛擬機工作流程看運行原理。自己實現集合框架 (三): 單鏈表的實現自己實現集合框架 (三): 單鏈表的實現基于 POI 封裝 ExcelUtil 精簡的 Excel 導入導出由于 poi 本身只是針對于 ...

caspar 2019-08-16 10:57 評論0 收藏0
Java面試題必備知識之ThreadLocal

摘要：方法，刪除當前線程綁定的這個副本數字，這個值是的值，普通的是使用鏈表來處理沖突的，但是是使用線性探測法來處理沖突的，就是每次增加的步長，根據參考資料所說，選擇這個數字是為了讓沖突概率最小。 showImg(https://segmentfault.com/img/remote/1460000019828633); 老套路，先列舉下關于ThreadLocal常見的疑問，希望可以通過這篇學...

Maxiye 2019-08-16 18:39 評論0 收藏0