PyTips 0x13 - Python 線程與協程（2）

史占廣發布于2019-07-24 18:38 / 2225人閱讀

摘要：項目地址我之前翻譯了協程原理這篇文章之后嘗試用了模式下的協程進行異步開發，確實感受到協程所帶來的好處至少是語法上的。

項目地址：https://git.io/pytips

我之前翻譯了Python 3.5 協程原理這篇文章之后嘗試用了 Tornado + Motor 模式下的協程進行異步開發，確實感受到協程所帶來的好處（至少是語法上的:D）。至于協程的 async/await 語法是如何由開始的 yield 生成器一步一步上位至 Python 的 async/await 組合語句，前面那篇翻譯的文章里面講得已經非常詳盡了。我們知道協程的本質上是：

allowing multiple entry points for suspending and resuming execution at certain locations.

允許多個入口對程序進行掛起、繼續執行等操作，我們首先想到的自然也是生成器：

def jump_range(upper):
    index = 0
    while index < upper:
        jump = yield index
        if jump is None:
            jump = 1
        index += jump
jump = jump_range(5)
print(jump)
print(jump.send(None))
print(jump.send(3))
print(jump.send(None))


0
3
4

后來又新增了 yield from 語法，可以將生成器串聯起來：

def wait_index(i):
    # processing i...
    return (yield i)
def jump_range(upper):
    index = 0
    while index < upper:
        jump = yield from wait_index(index)
        if jump is None:
            jump = 1
        index += jump
jump = jump_range(5)
print(jump)
print(jump.send(None))
print(jump.send(3))
print(jump.send(None))


0
3
4

yield from/send 似乎已經滿足了協程所定義的需求，最初也確實是用 @types.coroutine 修飾器將生成器轉換成協程來使用，在 Python 3.5 之后則以專用的 async/await 取代了 @types.coroutine/yield from：

class Wait(object):
    """
    由于 Coroutine 協議規定 await 后只能跟 awaitable 對象，
    而 awaitable 對象必須是實現了 __await__ 方法且返回迭代器
    或者也是一個協程對象，
    因此這里臨時實現一個 awaitable 對象。
    """
    def __init__(self, index):
        self.index = index
    def __await__(self):
        return (yield self.index)
async def jump_range(upper):
    index = 0
    while index < upper:
        jump = await Wait(index)
        if jump is None:
            jump = 1
        index += jump
jump = jump_range(5)
print(jump)
print(jump.send(None))
print(jump.send(3))
print(jump.send(None))


0
3
4

與線程相比

協程的執行過程如下所示：

import asyncio
import time
import types

@types.coroutine
def _sum(x, y):
    print("Compute {} + {}...".format(x, y))
    yield time.sleep(2.0)
    return x+y
@types.coroutine
def compute_sum(x, y):
    result = yield from _sum(x, y)
    print("{} + {} = {}".format(x, y, result))
loop = asyncio.get_event_loop()
loop.run_until_complete(compute_sum(0,0))

Compute 0 + 0...
0 + 0 = 0

這張圖（來自: PyDocs: 18.5.3. Tasks and coroutines）清楚地描繪了由事件循環調度的協程的執行過程，上面的例子中事件循環的隊列里只有一個協程，如果要與上一部分中線程實現的并發的例子相比較，只要向事件循環的任務隊列中添加協程即可：

import asyncio
import time

# 上面的例子為了從生成器過度，下面全部改用 async/await 語法
async def _sum(x, y):
    print("Compute {} + {}...".format(x, y))
    await asyncio.sleep(2.0)
    return x+y
async def compute_sum(x, y):
    result = await _sum(x, y)
    print("{} + {} = {}".format(x, y, result))

start = time.time()
loop = asyncio.get_event_loop()
tasks = [
    asyncio.ensure_future(compute_sum(0, 0)),
    asyncio.ensure_future(compute_sum(1, 1)),
    asyncio.ensure_future(compute_sum(2, 2)),
]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()
print("Total elapsed time {}".format(time.time() - start))

Compute 0 + 0...
Compute 1 + 1...
Compute 2 + 2...
0 + 0 = 0
1 + 1 = 2
2 + 2 = 4
Total elapsed time 2.0042951107025146

總結

這兩篇主要關于 Python 中的線程與協程的一些基本原理與用法，為此我搜索了不少參考文章與鏈接，對我自己理解它們的原理與應用場景也有很大的幫助（當然也有可能存在理解不到位的地方，歡迎指正）。當然在這里還是主要關注基于 Python 的語法與應用，如果想要了解更多底層實現的細節，可能需要從系統調度等底層技術細節開始學習（幾年前我記得翻閱過《深入理解LINUX內核》這本書，雖然大部分細節已經記不清楚了，但對于理解其它人的分析、總結還是有一定幫助的）。這里討論的基于協程的異步主要是借助于事件循環（由asyncio標準庫提供），包括上文中的示意圖，看起來很容易讓人聯想到 Node.js 的事件循環 & 回調，但是協程與回調也還是有區別的，具體就不在這里展開了，可以參考下面第一條參考鏈接。

歡迎關注公眾號 PyHub 每日推送

參考

Python 中的進程、線程、協程、同步、異步、回調

我是一個線程

Concurrency is not Parallelism

A Curious Course on Coroutines and Concurrency

PyDocs: 17.1. threading — Thread-based parallelism

PyDocs: 18.5.3. Tasks and coroutines

[譯] Python 3.5 協程究竟是個啥

協程的好處是什么？ - crazybie 的回答

Py3-cookbook:第十二章：并發編程

Quora: What are the differences between parallel, concurrent and asynchronous programming?

Real-time apps with gevent-socketio

云服務器 GPU云服務器 webrtc使用線程還是協程 python協程 python協程池 python3協程

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/37866.html

PyTips 0x 12 - Python 線程與協程（1）

摘要：中關于線程的標準庫是，之前在版本中的在之后更名為，無論是還是都應該盡量避免使用較為底層的而應該使用。而與線程相比，協程尤其是結合事件循環無論在編程模型還是語法上，看起來都是非常友好的單線程同步過程。項目地址：https://git.io/pytips 要說到線程（Thread）與協程（Coroutine）似乎總是需要從并行（Parallelism）與并發（Concurrency）談起...

el09xccxy 2019-07-24 18:38 評論0 收藏0
Python協程（真才實學，想學的進來）

摘要：所以與多線程相比，線程的數量越多，協程性能的優勢越明顯。值得一提的是，在此過程中，只有一個線程在執行，因此這與多線程的概念是不一樣的。真正有知識的人的成長過程，就像麥穗的成長過程：麥穗空的時候，麥子長得很快，麥穗驕傲地高高昂起，但是，麥穗成熟飽滿時，它們開始謙虛，垂下麥芒。 ——蒙田《蒙田隨筆全集》上篇論述了關于python多線程是否是雞肋的問題，得到了一些網友的認可，當然也有...

lykops 2019-07-30 16:55 評論0 收藏0
Python：Tornado 第二章：實戰演練：開發Tornado網站：第六節：異步與協程化

摘要：上一篇文章第二章實戰演練開發網站第五節輸出相應函數下一篇文章第二章實戰演練開發網站第七節安全機制有兩種方式可改變同步的處理流程異步化針對的處理函數使用修飾器，將默認的同步機制改為異步機制。使用異步對象處理耗時操作，比如本例的。上一篇文章：Python：Tornado 第二章：實戰演練：開發Tornado網站：第五節：RequestHandler：輸出相應函數下一篇文章：Python：...

cod7ce 2019-07-30 18:06 評論0 收藏0
談談Python協程技術的演進

摘要：事件循環是異步編程的底層基石。對事件集合進行輪詢，調用回調函數等一輪事件循環結束，循環往復。協程直接利用代碼的執行位置來表示狀態，而回調則是維護了一堆數據結構來處理狀態。時代的協程技術主要是，另一個比較小眾。 Coding Crush Python開發工程師主要負責豈安科技業務風險情報系統redq。引言 1.1. 存儲器山存儲器山是 Randal Bryant 在《深入...

zhiwei 2019-07-31 11:02 評論0 收藏0
Python中的并發處理之使用asyncio包

摘要：并發用于制定方案，用來解決可能但未必并行的問題。在協程中使用需要注意兩點使用鏈接的多個協程最終必須由不是協程的調用方驅動，調用方顯式或隱式在最外層委派生成器上調用函數或方法。對象可以取消取消后會在協程當前暫停的處拋出異常。導語：本文章記錄了本人在學習Python基礎之控制流程篇的重點知識及個人心得，打算入門Python的朋友們可以來一起學習并交流。本文重點： 1、了解asyncio...

tuniutech 2019-07-31 11:07 評論0 收藏0