摘要:很簡單,這個模塊實現了開辟一塊共享內存空間,就好比中的方法一樣,有興趣的同學可以去查閱。查了下資料,返回的對象控制了一個進程,可用于多進程之間的安全通信,其支持的類型有和等。
有關于 multiprocessing 中共享變量的問題
現在的cpu都很強大,比方我用的至強2620有24核可以同時工作,并行執行進程程序。這在計算密集型的程序是很需要的,如沙漠中的綠洲,令人重獲新生。那么,問題接踵而來,python中多進程能否共享一個變量,因為我需要更新矩陣。
我的辦法是用list存儲三元組信息,信息包括矩陣位置以及value。那么首先我們設定一個全局變量叫result_list就可以了?
答案是NO.
進程間共享變量就需要獨立開辟一塊內存空間或是文件共享,在python里很方面,直接用一個模塊可以解決這個問題,那就是 multiprocessing 里的 Manager。當然,這是針對我們需要的是list而言,如果我們只是共享一個簡單的變量如一個整數,可以直接用 multiprocessing 里的 value。
下面的實例是怎么去共享變量。
from multiprocessing import Process, Manager, Lock import os lock = Lock() manager = Manager() sum = manager.list() def testFunc(cc, lock): with lock: sum.append(1) if __name__ == "__main__": threads = [] for ll in range(1000): t = Process(target=testFunc, args=(1, lock)) t.daemon = True threads.append(t) sum = manager.list() for i in range(len(threads)): threads[i].start() for j in range(len(threads)): threads[j].join() print "------------------------" print "process id:", os.getpid() print sum
很簡單,manager這個模塊實現了開辟一塊共享內存空間,就好比c中的 shmget 方法一樣,有興趣的同學可以去查閱。 傳送門
這樣簡單的處理并不能滿足我。
首先,我需要一個線程池,當然,實現線程池也是非常簡單的。但是就會遇到一個問題。
lock = multiprocessing.Lock() pool = multiprocessing.Pool(processes=3) for i in range(0,3): pool.apply_async(child_worker, ((my_parameter, lock),)) pool.close() pool.join()
以上代碼執行時會出錯。
RuntimeError: Lock objects should only be shared between processes through inheritance
查了下資料,multiprocessing.Manager()返回的manager對象控制了一個server進程,可用于多進程之間的安全通信,其支持的類型有list,dict,Namespace,Lock,RLock,Semaphore,BoundedSemaphore,Condition,Event,Queue,Value和Array等。
所以代碼修改成這樣后就可以正常運行了:
lock = multiprocessing.Manager().Lock() pool = multiprocessing.Pool(processes=3) for i in range(0,3): pool.apply_async(child_worker, ((my_parameter, lock),)) pool.close() pool.join()
所以,lock的問題解決了,真是厲害我們現在可以充分地(往死里)用我們的電腦了。
But,還不夠,我想要多次執行這個并行化計算sum的函數。也就是說我需要每次去清空result_list的內容,這個可是一個很關鍵的細節,因為這個需要明白一個細節,你不能用sum = [] 這樣的方式去重置,我個人認為是局部變量的原因,我后來找到了del sum[:]的方法,解決了我的大問題,so,final version 如下。
from multiprocessing import Process, Manager,Pool import os lock = Manager().Lock() manager = Manager() sum = manager.list() def testFunc(cc, lock): with lock: sum.append(1) # 配合 multiprocessing pool 對多參數的要求添加的函數 def multi_test(args): testFunc(*args) def testing(): threads = [] _pool = Pool(24) del sum[:] lst_vars = [] for shot in range(1000): lst_vars.append((1,lock)) _pool.map(multi_test, lst_vars) _pool.close() _pool.join() print "------------------------" print "process id:", os.getpid() print sum if __name__ == "__main__": testing() testing()
這些實例是我方便寫博客想的,其實我是在寫一個大工程遇到了這些個問題,忙的我焦頭爛額,但是總結出了人生經驗,希望幫到你,讓你多活幾年~~
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/44435.html
摘要:首發于我的博客線程池進程池網絡編程之同步異步阻塞非阻塞后端掘金本文為作者原創,轉載請先與作者聯系。在了解的數據結構時,容器可迭代對象迭代器使用進行并發編程篇二掘金我們今天繼續深入學習。 Python 算法實戰系列之棧 - 后端 - 掘金原文出處: 安生??? 棧(stack)又稱之為堆棧是一個特殊的有序表,其插入和刪除操作都在棧頂進行操作,并且按照先進后出,后進先出的規則進行運作。 如...
摘要:正文總所周知,和根本就是兩個東西,每次因為這個兼容性的問題都會把自己搞瘋。提供了模塊,把下一個新版本的特性導入到當前版本,于是我們就可以在當前版本中測試一些新版本的特性。傳送門不多,才個。 寫在前面 我是在學習cs231n的assignment3的課程,發現里面的代碼大量頻繁出現了這個庫,那我就很奇怪了,為什么有個future這個奇怪名字的庫會出現呢?到底這個庫又有什么用?下面就讓我為...
閱讀 1585·2021-09-30 09:47
閱讀 3581·2021-09-22 15:05
閱讀 2829·2021-08-30 09:44
閱讀 3617·2019-08-30 15:55
閱讀 1365·2019-08-30 13:08
閱讀 1323·2019-08-29 16:40
閱讀 545·2019-08-29 12:45
閱讀 1380·2019-08-29 11:25