python多進(jìn)程，全局變量未更新問(wèn)題，已解決

AlphaGooo 發(fā)布于2019-07-31 10:10 / 1598人閱讀

摘要：多進(jìn)程，全局變量未更新問(wèn)題子進(jìn)程全局變量沒(méi)有按照預(yù)想的更新，導(dǎo)致數(shù)據(jù)沒(méi)有寫(xiě)入磁盤(pán)。另外，如果想在進(jìn)程間通行，請(qǐng)使用官方的隊(duì)列方法或者管道，因?yàn)槿肿兞吭诟高M(jìn)程和子進(jìn)程之間的值是獨(dú)立的，改變其中一個(gè)不會(huì)同步到另外的進(jìn)程。

python多進(jìn)程，全局變量未更新

問(wèn)題：子進(jìn)程全局變量沒(méi)有按照預(yù)想的更新，導(dǎo)致數(shù)據(jù)沒(méi)有寫(xiě)入磁盤(pán)。進(jìn)程池必須在if __name__ == "__main__"下面使用
復(fù)現(xiàn)：見(jiàn)實(shí)驗(yàn)代碼
環(huán)境：centos7, python3.7
原因：子進(jìn)程的__name__屬性值不是"__main__"
解決辦法：需要用到的資源要在if __name__ == "__main__":語(yǔ)句之前確定好。在這語(yǔ)句之后的值不會(huì)傳遞到子進(jìn)程里。

代碼

from multiprocessing import Pool

date = "初始日期"
def foo():
?    print(f"date的值: {date}")

if __name__ == "__main__":
?    date = "覆蓋初始日期"

?    # 多進(jìn)程，全部不能覆蓋
?    with Pool(2) as mypool:
?        for i in range(2):
?            print(f"進(jìn)程{i}:")
?            mypool.apply(foo,)

輸出：

進(jìn)程0:
date的值: 初始日期
進(jìn)程1:
date的值: 初始日期

總結(jié)

python的多進(jìn)程在類(lèi)Unix OS和Windows OS下的實(shí)現(xiàn)是不一樣的，前者可以使用fork，而后者是python解釋器新開(kāi)一個(gè)進(jìn)程，然后使用序列化需要用到的資源傳到那個(gè)進(jìn)程中，此時(shí)在子進(jìn)程的那些模塊下打印locals（）會(huì)顯示里面的__name__字段并不是__main__(我的顯示的是_ua_main__)。
另外如果運(yùn)行python腳本的話，多進(jìn)程必須在if __name__ == "__main__":語(yǔ)句下才會(huì)執(zhí)行，不然會(huì)報(bào)錯(cuò)。
另外，如果想在進(jìn)程間通行，請(qǐng)使用官方的隊(duì)列方法或者管道，因?yàn)槿肿兞吭诟高M(jìn)程和子進(jìn)程之間的值是獨(dú)立的，改變其中一個(gè)不會(huì)同步到另外的進(jìn)程。

官網(wǎng)鏈接如下,里面對(duì)多進(jìn)程的一些注意點(diǎn)和坑都說(shuō)明的很清楚了：
https://docs.python.org/3/library/multiprocessing.html?highlight=multiprocessing#module-multiprocessing