Promise.all并發限制

sutaking 發布于2019-08-23 11:58 / 1832人閱讀

摘要：并發限制指的是，每個時刻并發執行的數量是固定的，最終的執行結果還是保持與原來的一致。換句話說，就是把生成數組的控制權，交給并發控制邏輯。

背景

通常，我們在需要保證代碼在多個異步處理之后執行，會用到：

Promise.all(promises: []).then(fun: function);

Promise.all可以保證，promises數組中所有promise對象都達到resolve狀態，才執行then回調。

這時候考慮一個場景：如果你的promises數組中每個對象都是http請求，或者說每個對象包含了復雜的調用處理。而這樣的對象有幾十萬個。

那么會出現的情況是，你在瞬間發出幾十萬http請求（tcp連接數不足可能造成等待），或者堆積了無數調用棧導致內存溢出。

這時候，我們就需要考慮對Promise.all做并發限制。

Promise.all并發限制指的是，每個時刻并發執行的promise數量是固定的，最終的執行結果還是保持與原來的Promise.all一致。

實現

我們知道，promise并不是因為調用Promise.all才執行，而是在實例化promise對象的時候就執行了，在理解這一點的基礎上，要實現并發限制，只能從promise實例化上下手。

換句話說，就是把生成promises數組的控制權，交給并發控制邏輯。

這里我并不打算一步步實現這個這個功能，npm中有很多實現這個功能的第三方包，比如async-pool、es6-promise-pool、p-limit，這里我直接拿async-pool的代碼來分析一下實現原理。

代碼很簡單，去掉不必要的代碼，加上自己的注釋，大概內容如下：

function asyncPool(poolLimit, array, iteratorFn) {
    let i = 0;
    const ret = [];
    const executing = [];
    const enqueue = function () {
        // 邊界處理，array為空數組
        if (i === array.length) {
            return Promise.resolve();
        }
        // 每調一次enqueue，初始化一個promise
        const item = array[i++];
        const p = Promise.resolve().then(() => iteratorFn(item, array));
        // 放入promises數組
        ret.push(p);
        // promise執行完畢，從executing數組中刪除
        const e = p.then(() => executing.splice(executing.indexOf(e), 1));
        // 插入executing數字，表示正在執行的promise
        executing.push(e);
        // 使用Promise.rece，每當executing數組中promise數量低于poolLimit，就實例化新的promise并執行
        let r = Promise.resolve();
        if (executing.length >= poolLimit) {
            r = Promise.race(executing);
        }
        // 遞歸，直到遍歷完array
        return r.then(() => enqueue());
    };
    return enqueue().then(() => Promise.all(ret));
}

因為是promise加上遞歸，所以在代碼注釋上不太好標注執行順序，但是大概的邏輯可以總結為：

從array第1個元素開始，初始化promise對象，同時用一個executing數組保存正在執行的promise

不斷初始化promise，直到達到poolLimt

使用Promise.race，獲得executing中promise的執行情況，當有一個promise執行完畢，繼續初始化promise并放入executing中

所有promise都執行完了，調用Promise.all返回

使用方式就是：

const timeout = i => new Promise(resolve => setTimeout(() => resolve(i), i));
return asyncPool(2, [1000, 5000, 3000, 2000], timeout).then(results => {
    ...
});

總結

所謂promise并發限制，其實根源上就是控制promise的實例化。如果是通過第三方函數，那么就把創建promise的控制權交給第三方即可。

然而這樣的實現效果，本質上來說已經拋棄了Promise.all而另辟蹊徑。所以期待有一天promise標準能提供這個功能

GPU云服務器云服務器并發請求限制 ecs 并發限制限制IP并發數 linux并發數限制

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/97763.html

小程序圖片合成：異步并發渲染→同步阻塞渲染

摘要：故事開始了，小程序圖片合成真機測試時，會報錯。所以只能將異步并發改為同步阻塞式渲染。 showImg(https://segmentfault.com/img/remote/1460000013228074); 故事開始了，小程序canvas圖片合成真機測試時，會報錯：getImageInfo failed 。也就是說，我這邊異步請求50張圖片，每張圖片都是通過getImageInf...

zhoutao 2019-08-26 11:36 評論0 收藏0
async/await 異步應用的常用場景

摘要：下面將簡單地描述一下一些日常常用場景加深對認識最普遍的異步操作就是請求我們也可以用來簡單模擬異步請求。其中是必須的如果省略了程序就不能按預期得到結果。前言 async/await 語法用看起來像寫同步代碼的方式來優雅地處理異步操作,但是我們也要明白一點,異步操作本來帶有復雜性,像寫同步代碼的方式并不能降低本質上的復雜性,所以在處理上我們要更加謹慎, 稍有不慎就可能寫出不是預期執行的代...

ermaoL 2019-08-02 16:18 評論0 收藏0
async/await 異步應用的常用場景

摘要：下面將簡單地描述一下一些日常常用場景加深對認識最普遍的異步操作就是請求我們也可以用來簡單模擬異步請求。其中是必須的如果省略了程序就不能按預期得到結果。前言 async/await 語法用看起來像寫同步代碼的方式來優雅地處理異步操作,但是我們也要明白一點,異步操作本來帶有復雜性,像寫同步代碼的方式并不能降低本質上的復雜性,所以在處理上我們要更加謹慎, 稍有不慎就可能寫出不是預期執行的代...

darkbug 2019-08-26 13:45 評論0 收藏0
async/await 異步應用的常用場景

摘要：下面將簡單地描述一下一些日常常用場景加深對認識最普遍的異步操作就是請求我們也可以用來簡單模擬異步請求。其中是必須的如果省略了程序就不能按預期得到結果。前言 async/await 語法用看起來像寫同步代碼的方式來優雅地處理異步操作,但是我們也要明白一點,異步操作本來帶有復雜性,像寫同步代碼的方式并不能降低本質上的復雜性,所以在處理上我們要更加謹慎, 稍有不慎就可能寫出不是預期執行的代...

寵來也 2019-08-30 10:53 評論0 收藏1
多個請求并發執行怎么寫？

摘要：最近在寫一個程序，功能是下載頁面上的資源，首先拿到頁面資源鏈接列表，如要求是資源并行下載，所有資源下載結束后通知，收集錯誤的下載鏈接。如果把上面模擬請求的注釋去掉，還會發現是在結束后就執行了，而后面的請求還未結束。最近在寫一個Node.js程序，功能是下載頁面上的資源，首先拿到頁面資源鏈接列表，如： [ https://xxx.com/img/logo.jpg, https:...

gself 2019-08-26 10:24 評論0 收藏0