摘要:本文重點掌握異步編程的相關概念了解期物的概念意義和使用方法了解中的阻塞型函數釋放的特點。一異步編程相關概念阻塞程序未得到所需計算資源時被掛起的狀態。
導語:本文章記錄了本人在學習Python基礎之控制流程篇的重點知識及個人心得,打算入門Python的朋友們可以來一起學習并交流。
本文重點:
1、掌握異步編程的相關概念;一、異步編程相關概念
2、了解期物future的概念、意義和使用方法;
3、了解Python中的阻塞型I/O函數釋放GIL的特點。
阻塞:程序未得到所需計算資源時被掛起的狀態。換句話說,程序在等待某個操作完成期間,自身無法繼續干別的事情,則稱該程序在該操作上是阻塞的。
并發:描述的是程序的組織結構。指程序要被設計成多個可獨立執行的子任務。并發以利用有限的計算機資源使多個任務可以被實時或近實時執行為目的。
并行:指的是多任務同時執行的程序狀態,以利用多核CPU加速完成多任務為目的。
異步:為完成某個任務,不同程序單元之間過程中無需通信協調,也能完成任務的方式。
不相關的程序單元之間可以是異步的。簡言之,異步意味著無序。
異步編程:以進程、線程、協程、函數/方法作為執行任務的基本單位,結合回調,事件循環、信號量等機制,以提高整體執行效率和并發能力的編程方式。
就下載國旗為目標實現的三個客戶端中,兩個HTTP并發客戶端比依序下載的腳本性能高很多。
由此說明使用并發可以高效處理網絡I/O。
期物(future)指一種對象,表示異步執行的操作。
期物對象:concurrent.futures.Future或asyncio.Future類的實例。
三大方法:
Executor.submit():創建期物。
concurrent.futures.as_completed():迭代運行結束的期物,返回一個迭代器。
Executor.map(): 處理參數不同的同一個可調用對象。
小結:Executor.submit()加futures.as_completed()的組合比Executor.map()更靈活,因為submit()能處理不同的可調用對象和參數。
concurrent.futures模塊的主要特色是ThreadPoolExecutor和ProcessPoolExecutor類,這兩個類實現的接口能分別在不同的線程或進程中執行可調用的對象。
注意:通常情況下自己不應該創建期物,而只能由并發框架(concurrent.futures或asyncio)實例化。
實例:concurrent.futures模塊應用
from concurrent import futures from flags import save_flag, get_flag, show, main MAX_WORKERS = 20 def download_one(cc): image = get_flag(cc) show(cc) save_flag(image, cc.lower() + ".gif") return cc def download_many(cc_list): workers = min(MAX_WORKERS, len(cc_list)) with futures.ThreadPoolExecutor(workers) as executor: res = executor.map(download_one, sorted(cc_list)) return len(list(res)) if __name__ == "__main__": main(download_many)三、阻塞性I/O與GIL
Python標準庫中所有阻塞型I/O函數都會釋放全局解釋器鎖(GIL),允許其他線程運行。
因此盡管有GIL,Python線程仍然適合在I/O密集型系統使用。
對CPU密集型工作來說,要啟動多個進程,規避GIL。
創建多進程最簡單的方式是使用futures.ProcessPoolExecutor類。
threading和multiprocessing模塊:是Python中多線程和多進程并發的低層實現。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/44673.html
摘要:并發用于制定方案,用來解決可能但未必并行的問題。在協程中使用需要注意兩點使用鏈接的多個協程最終必須由不是協程的調用方驅動,調用方顯式或隱式在最外層委派生成器上調用函數或方法。對象可以取消取消后會在協程當前暫停的處拋出異常。 導語:本文章記錄了本人在學習Python基礎之控制流程篇的重點知識及個人心得,打算入門Python的朋友們可以來一起學習并交流。 本文重點: 1、了解asyncio...
摘要:導語本文章匯總了本人在學習基礎之緒論篇數據結構篇函數篇面向對象篇控制流程篇和元編程篇學習筆記的鏈接,打算入門的朋友們可以按需查看并交流。 導語:本文章匯總了本人在學習Python基礎之緒論篇、數據結構篇、函數篇、面向對象篇、控制流程篇和元編程篇學習筆記的鏈接,打算入門Python的朋友們可以按需查看并交流。 第一部分:緒論篇 1、Python數據模型 第二部分:數據結構篇 2、序列構成...
摘要:問題任一文件句柄的不成功會阻塞住整個應用。主要解決的前兩個問題通過一個數組向內核傳遞需要關注的事件消除文件句柄上限,同時使用不同字段分別標注關注事件和發生事件,來避免重復初始化。問題逐個排查所有文件句柄狀態效率不高。 C10K問題思維導圖 showImg(https://segmentfault.com/img/bVbkrKe?w=1818&h=1276); C10K問題出現前期 大家...
摘要:如需了解更多物聯網網絡編程知識請點擊物聯網云端開發武器庫物聯網高并發編程之網絡編程中的線程模型值得說明的是,具體選擇線程還是進程,更多是與平臺及編程語言相關。 如需了解更多物聯網網絡編程知識請點擊:物聯網云端開發武器庫 物聯網高并發編程之網絡編程中的線程模型 值得說明的是,具體選擇線程還是進程,更多是與平臺及編程語言相關。例如 C 語言使用線程和進程都可以(例如 Nginx 使用進程...
閱讀 3118·2021-11-15 18:14
閱讀 1773·2021-09-22 10:51
閱讀 3283·2021-09-09 09:34
閱讀 3505·2021-09-06 15:02
閱讀 1013·2021-09-01 11:40
閱讀 3186·2019-08-30 13:58
閱讀 2523·2019-08-30 11:04
閱讀 1081·2019-08-28 18:31