摘要:在生產者與消費者之間的緩沖區稱之為倉庫。生產者負責往倉庫運輸商品,而消費者負責從倉庫里取出商品,這就構成了生產者消費者模式。中的多線程編程在實現生產者消費者模式之前,我們先學習下中的多線程編程。
什么是生產者消費者模式
在軟件開發的過程中,經常碰到這樣的場景:
某些模塊負責生產數據,這些數據由其他模塊來負責處理(此處的模塊可能是:函數、線程、進程等)。產生數據的模塊稱為生產者,而處理數據的模塊稱為消費者。在生產者與消費者之間的緩沖區稱之為倉庫。生產者負責往倉庫運輸商品,而消費者負責從倉庫里取出商品,這就構成了生產者消費者模式。
結構圖如下:
為了大家容易理解,我們舉一個寄信的例子。假設你要寄一封信,大致過程如下:
1、你把信寫好——相當于生產者生產數據
2、你把信放入郵箱——相當于生產者把數據放入緩沖區
3、郵遞員把信從郵箱取出,做相應處理——相當于消費者把數據取出緩沖區,處理數據
解耦
假設生產者和消費者分別是兩個線程。如果讓生產者直接調用消費者的某個方法,那么生產者對于消費者就會產生依賴(也就是耦合)。如果未來消費者的代碼發生變化,可能會影響到生產者的代碼。而如果兩者都依賴于某個緩沖區,兩者之間不直接依賴,耦合也就相應降低了。
舉個例子,我們去郵局投遞信件,如果不使用郵箱(也就是緩沖區),你必須得把信直接交給郵遞員。有同學會說,直接給郵遞員不是挺簡單的嘛?其實不簡單,你必須 得認識誰是郵遞員,才能把信給他。這就產生了你和郵遞員之間的依賴(相當于生產者和消費者的強耦合)。萬一哪天郵遞員 換人了,你還要重新認識一下(相當于消費者變化導致修改生產者代碼)。而郵箱相對來說比較固定,你依賴它的成本就比較低(相當于和緩沖區之間的弱耦合)。
并發
由于生產者與消費者是兩個獨立的并發體,他們之間是用緩沖區通信的,生產者只需要往緩沖區里丟數據,就可以繼續生產下一個數據,而消費者只需要從緩沖區拿數據即可,這樣就不會因為彼此的處理速度而發生阻塞。
繼續上面的例子,如果我們不使用郵箱,就得在郵局等郵遞員,直到他回來,把信件交給他,這期間我們啥事兒都不能干(也就是生產者阻塞)。或者郵遞員得挨家挨戶問,誰要寄信(相當于消費者輪詢)。
支持忙閑不均
當生產者制造數據快的時候,消費者來不及處理,未處理的數據可以暫時存在緩沖區中,慢慢處理掉。而不至于因為消費者的性能造成數據丟失或影響生產者生產。
我們再拿寄信的例子,假設郵遞員一次只能帶走1000封信,萬一碰上情人節(或是圣誕節)送賀卡,需要寄出去的信超過了1000封,這時候郵箱這個緩沖區就派上用場了。郵遞員把來不及帶走的信暫存在郵箱中,等下次過來時再拿走。
通過上面的介紹大家應該已經明白了生產者消費者模式。
Python中的多線程編程在實現生產者消費者模式之前,我們先學習下Python中的多線程編程。
線程是操作系統直接支持的執行單元,高級語言通常都內置多線程的支持,Python也不例外,并且Python的線程是真正的Posix Thread,而不是模擬出來的線程。
Python的標準庫提供了兩個模塊:_thread和threading,_thread是低級模塊,threading是高級模塊,對_thread進行了封裝。絕大多數情況下,我們只需要使用threading這個高級模塊。
下面我們先看一段在Python中實現多線程的代碼。
import time,threading #線程代碼 class TaskThread(threading.Thread): def __init__(self,name): threading.Thread.__init__(self,name=name) def run(self): print("thread %s is running..." % self.getName()) for i in range(6): print("thread %s >>> %s" % (self.getName(), i)) time.sleep(1) print("thread %s finished." % self.getName()) taskthread = TaskThread("TaskThread") taskthread.start() taskthread.join()
下面是程序的執行結果:
thread TaskThread is running... thread TaskThread >>> 0 thread TaskThread >>> 1 thread TaskThread >>> 2 thread TaskThread >>> 3 thread TaskThread >>> 4 thread TaskThread >>> 5 thread TaskThread finished.
TaskThread類繼承自threading模塊中的Thread線程類。構造函數的name參數指定線程的名字,通過重載基類run函數實現具體任務。
在簡單熟悉了Python的線程后,下面我們實現一個生產者消費者模shi。
from Queue import Queue import random,threading,time #生產者類 class Producer(threading.Thread): def __init__(self, name,queue): threading.Thread.__init__(self, name=name) self.data=queue def run(self): for i in range(5): print("%s is producing %d to the queue!" % (self.getName(), i)) self.data.put(i) time.sleep(random.randrange(10)/5) print("%s finished!" % self.getName()) #消費者類 class Consumer(threading.Thread): def __init__(self,name,queue): threading.Thread.__init__(self,name=name) self.data=queue def run(self): for i in range(5): val = self.data.get() print("%s is consuming. %d in the queue is consumed!" % (self.getName(),val)) time.sleep(random.randrange(10)) print("%s finished!" % self.getName()) def main(): queue = Queue() producer = Producer("Producer",queue) consumer = Consumer("Consumer",queue) producer.start() consumer.start() producer.join() consumer.join() print "All threads finished!" if __name__ == "__main__": main()
執行結果可能如下:
Producer is producing 0 to the queue! Consumer is consuming. 0 in the queue is consumed! Producer is producing 1 to the queue! Producer is producing 2 to the queue! Consumer is consuming. 1 in the queue is consumed! Consumer is consuming. 2 in the queue is consumed! Producer is producing 3 to the queue! Producer is producing 4 to the queue! Producer finished! Consumer is consuming. 3 in the queue is consumed! Consumer is consuming. 4 in the queue is consumed! Consumer finished! All threads finished!
小結因為多線程是搶占式執行的,所以打印出的運行結果不一定和上面的完全一致。
本例通過Python實現了一個簡單的生產者消費者模型。Python中的Queue模塊已經提供了對線程同步的支持,所以本文并沒有涉及鎖、同步、死鎖等多線程問題。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/38571.html
摘要:多進程執行任務結束,創建進程和銷毀進程是時間的,如果長度不夠,會造成多線程快過多進程多線程執行任務結束,進程間通信生產者消費者模型與隊列演示了生產者和消費者的場景。 進程 Python是運行在解釋器中的語言,查找資料知道,python中有一個全局鎖(GIL),在使用多進程(Thread)的情況下,不能發揮多核的優勢。而使用多進程(Multiprocess),則可以發揮多核的優勢真正地提...
摘要:為什么使用生產者消費者模式在線程世界里,生產者就是生產數據的線程,消費者就是消費數據的線程。什么是生產者消費者模式生產者消費者模式是通過一個容器來解決生產者和消費者的強耦合問題。 ...
摘要:申明守護線程需要在開啟線程之前。線程池線程都是后臺線程。每個線程都使用默認的堆棧大小,以默認的優先級運行,并處于多線程單元中。 創建線程 一個進程必有一個線程,進程也可由多個線程組成,但有一個線程為主線程。若一個任務需要花10Mins,當只有一個線程時,花費10Mins,當有十個線程時,可能就花費1Mins,所以多線程可以提升任務執行時間,提高工作效率。python里與線程有關的模塊:...
摘要:如果某線程并未使用很多操作,它會在自己的時間片內一直占用處理器和。在中使用線程在和等大多數類系統上運行時,支持多線程編程。守護線程另一個避免使用模塊的原因是,它不支持守護線程。 這一篇是Python并發的第四篇,主要介紹進程和線程的定義,Python線程和全局解釋器鎖以及Python如何使用thread模塊處理并發 引言&動機 考慮一下這個場景,我們有10000條數據需要處理,處理每條...
閱讀 3758·2023-04-25 20:00
閱讀 3109·2021-09-22 15:09
閱讀 505·2021-08-25 09:40
閱讀 3412·2021-07-26 23:38
閱讀 2201·2019-08-30 15:53
閱讀 1097·2019-08-30 13:46
閱讀 2788·2019-08-29 16:44
閱讀 2043·2019-08-29 15:32