摘要：接下來的部分將討論如何確保事件循環和工作池的公平調度。不要阻塞事件循環事件循環通知每個新客戶端連接并協調對客戶端的響應。

如果您編寫比命令行腳本更復雜的程序，那么閱讀本文可以幫助您編寫性能更高，更安全的應用程序。

在編寫本文檔時，主要是基于Node服務器。但里面的原則也適用于其它復雜的Node應用程序。在沒有特別說明操作系統的情況下，默認為Linux。

Node.js在事件循環（初始化和回調）中運行JavaScript代碼，并提供工作池來處理成本比較高的任務，如文件I/O。 Node服務節點有很強的擴展能力，有時能提供比相對較重的Apache更好的解決方案。關鍵點就在于它使用少量線程來處理多客戶端連接。如果Node可以使用更少的線程，那么它可以將更多的系統時間和內存用于客戶端，而不是為線程（內存，上下文切換）占用額外空間和時間。但也因為Node只有少量的線程，因此在構建應用程序時，必須明智地使用它們。

這里有一些保持Node服務器快速穩健運行的經驗法則： 當在任何給定時間與每個客戶端關聯的工作“很小”時，Node服務會很快。

這適用于事件循環上的回調和工作池上的任務。

Node使用少量的線程來處理多個客戶端連接。在Node中有兩種類型的線程：

一個事件循環（又稱主循環，主線程，事件線程等）；

k工作池（也稱為線程池）中的工作池

如果一個線程需要很長時間來執行回調（Event Loop）或任務（Worker），我們稱之為“阻塞”。雖然線程為處理一個客戶端連接而阻塞，但它無法處理來自任何其他客戶端的請求。這提供了阻止事件循環和工作池的兩個動機：

性能：如果經常在任一類型的線程上執行重量級活動，則服務器的吞吐量（請求/秒）將受到影響；

安全性：如果某個輸入可能會阻塞某個線程，則惡意客戶端可能會提交此“惡意輸入”，使線程阻塞，從而阻塞其它客戶端上的處理。這就很方便地的造成了 拒絕服務攻擊。

Node使用事件驅動架構：它有一個事件循環用于調度 和 一個處理阻塞任務的工作池。

在開始時，Node應用程序首先完成初始化階段，即require模塊和注冊事件的回調。然后，Node應用程序進入事件循環，通過執行相應的回調來響應傳入的客戶端請求。此回調同步執行，并在完成后又有可能注冊新的異步請求。這些新異步請求的回調也將在事件循環上執行。

事件循環中還包含其它一些非阻塞異步請求（例如，網絡I/O）產生的回調。

總之，Event Loop執行這些注冊為某些事件的JavaScript回調，并且還負責完成非阻塞異步請求，如網絡I/O.

Node的線程池通過libuv(docs)實現。libuv暴露出一組任務提交的API。

Node使用線程池（Worker Pool）處理比較費時的任務。例操作系統沒有提供非阻塞版本的I/O, CPU密集型任務等。

會用到線程池的Node模塊：

I/O密集型

DNS: dns.lookup(), dns.lookupService()

fs: 除了fs.FSWatcher()和所有明確同步調用的文件API，剩下的都會用到libuv實現的線程池

CPU密集型

Crypto: crypto.pbkdf2(), crypto.randomBytes(), crypto.randomFill()

Zlib: 除了明確聲明使用同步調用的API，剩下的都會用到libuv的線程池

在大多數Node應用程序中，這些API是Worker Pool的唯一任務源。實際上，使用C++插件的應用程序和模塊也可以提交任務給工作池。

為了完整起見，我們注意到當從事件循環上的回調中調用上述其中一個API時，事件循環會花費一些較小的設置成本。因為需要進入該API相關的C++實現模塊并將任務提交給工作池。與任務的總成本相比，這些成本可以忽略不計，這就是事件循環將它轉接到C++模塊的原因。將這些任務之一提交給Worker Pool時，Node會在Node C++綁定中提供指向相應C++函數的指針。

理論上，Event Loop 和 Worker Pool 分別操作待處理的事件 和 待完成的任務。

實際上，Event Loop并不真正維護隊列。相應的，它有一組文件描述符，這些文件描述符被操作系統使用epoll（Linux），kqueue（OSX），事件端口（Solaris）或IOCP（Windows）等機制進行監視。這些文件描述符對應于網絡套接字，它正在觀看的任何文件，等等。當操作系統說其中一個文件描述符準備就緒時，Event Loop會將其轉換為相應的事件并調用與該事件關聯的回調。您可以在此處詳細了解此過程。

相反，Worker Pool使用一個真正的隊列，隊列中包含要處理的任務。Worker從此隊列中出棧一個任務并對其進行處理，完成后，Worker會為事件循環引發“至少一個任務已完成”事件。

在像Apache這樣的一個線程對應一個客戶端連接的系統中，每個掛起的客戶端都被分配了自己的線程。如果處理一個客戶端的線程阻塞時，操作系統會中斷它并切換到另一個處理客戶端請求的線程。因此操作系統確保需要少量工作的客戶不會受到需要更多工作的客戶的影響。

因為Node用很少的線程數量處理許多客戶端連接，如果一個線程處理一個客戶端的請求時被阻塞，那么其它被掛起的客戶端請求會一直得不到執行機會，直到該線程完成其回調或任務。 因此，保證客戶端的連接都受到公平對待是你編寫程序的工作內容。 這也就是說，在Node 程序中，不應該在任何單個回調或任務中為任何客戶端做太多比較耗時的工作。

上面說的就是Node為什么可以很好地擴展的部分原因，但這也意味著開發者有責任確保公平的調度。接下來的部分將討論如何確保事件循環和工作池的公平調度。

事件循環通知每個新客戶端連接并協調對客戶端的響應。也就是說，所有傳入請求和傳出響應都通過事件循環處理。這意味著如果事件循環在任何時候花費的時間太長，所有當前的 以及新進來的客戶端連接都不會獲得響應機會。

所以，要確保在任何時候都不應該阻塞事件循環。換句話說，每一個JavaScript回調應當能夠快速完成。這當然也適用于你await，Promise.then等。

確保這一點的一個好方法是推斷回調的“計算復雜度”。如果你的回調需要一定數量的步驟，無論它的參數是什么，總是會給每個連接的客戶段提供一個合理的響應。如果回調根據其參數采用不同的步驟數，那么就應該考慮不同參數可能導致的計算復雜度。

例子1： 恒定時間的回調

app.get("/constant-time", (req, res) => {
    res.sendStatus(200);
});

例子2： 時間復雜度O(n)。回調運行時間與n成線性關系

app.get("/countToN", (req, res) => {
    let n = req.query.n;

    // n iterations before giving someone else a turn
    for (let i = 0; i < n; i++) {
        console.log(`Iter {$i}`);
    }

    res.sendStatus(200);
});

例子3： 時間復雜度是O(n^2)的例子。當n比較小的時候，回調執行速度沒有太大的影響，如果n比較大，相對O(n)而言，會特別的慢。而且n+1 對 n而言，執行時間也會增長很多。是指數級別的。

app.get("/countToN2", (req, res) => {
    let n = req.query.n;

    // n^2 iterations before giving someone else a turn
    for (let i = 0; i < n; i++) {
        for (let j = 0; j < n; j++) {
            console.log(`Iter ${i}.${j}`);
        }
    }

    res.sendStatus(200);
});

Node使用Google V8引擎解析JavaScript，這對于許多常見操作來說非常快。但是有例外：regexp和JSON操作。

對于復雜的任務，應該考慮限制輸入長度并拒絕太長的輸入。這樣，即使回調具有很大的復雜度，通過限制輸入，也可以確保回調執行時間不會超過最壞情況下的執行時間。然后，可以依據此評估??回調的最壞情況成本，并確定其上下文中的運行時間是否可接受。

一種比較常見的阻塞事件循環的方式是使用比較“脆弱”的正則表達式。

正則表達式（regexp）將輸入字符串與特定的模式匹配。通常我們認為正則表達式只需要匹配一次輸入的字符串----時間復雜度是O(n)，n是輸入字符串的長度。在許多情況下，確實只需要一次便可完成匹配。但在某些情況下，正則表達式可能需要對傳入的字符串進行多次匹配----時間復雜度是O(2^n)。指數級增長意味著如果引擎需要x次回溯來確定匹配，那么如果我們在輸入字符串中再添加一個字符，則至少需要2*x次回溯。由于回溯次數與所需時間成線性關系，因此這種情況會阻塞事件循環。

一個“脆弱”的正則表達式在你的正則匹配引擎上運行可能需要指數時間，導致你可能遭受REDOS(Regular expression Denial of Service - ReDoS)的“邪惡輸入”。但是正則表達式模式是否易受攻擊（即正則表達式引擎可能需要指數時間）實際上是一個難以回答的問題，并且取決于您使用的是Perl，Python，Ruby，Java，JavaScript等。但有一些經驗法則是適用于所有語言的：

避免使用嵌套量詞(a+)*。Node的regexp引擎可能可以快速處理其中的一些，但其他引擎容易受到攻擊。

避免使用帶有重疊子句的OR，例如(a|a)*。同樣，這種情況有時是快速的。

避免使用反向引用，例如(a.*) 1。沒有正則表達式引擎可以確保在線性時間內匹配它們。

如果您正在進行簡單的字符串匹配，請使用indexOf或其它本身替代方法。它會更輕量且永遠不會超過O(n)。

如果您不確定您的正則表達式是否容易受到攻擊，但你需要明確的是即使易受攻擊的正則表達式和長輸入字符串，Node通常無法報告匹配項。當不匹配時， Node在嘗試匹配的輸入字符串的許多路徑之前，是無法確定是否會觸發指數級的時間長度。

一個REDOS（Regular expression Denial of Service - ReDoS） 例子

以下是將其服務器暴露給REDOS的示例易受攻擊的正則表達式：

app.get("/redos-me", (req, res) => {
    let filePath = req.query.filePath;

    // REDOS
    if (fileName.match(/(/.+)+$/)) {
        console.log("valid path");
    }
    else {
        console.log("invalid path");
    }

    res.sendStatus(200);
});

這個例子中易受攻擊的正則表達式是一種（糟糕的）方法來檢查Linux上的有效路徑。它匹配以“/”作為分隔符的字符串，如“/a/b/c”。它很危險，因為它違反了規則1：它有一個雙重嵌套的量詞。

如果客戶端使用filePath查詢///.../n（100 / s后跟換行符“。”將不匹配的換行符），那么事件循環將永遠有效，阻塞事件循環。此客戶端的REDOS攻擊導致所有其他客戶端在regexp匹配完成之前不會響應。

因此，您應該謹慎使用復雜的正則表達式來驗證用戶輸入。

有一些工具可以檢查你的regexp是否安全，比如

safe-regex

rxxr2。

但是，它們并不能保證識別所有易受攻擊的正則表達式。

另一種方法是使用不同的正則表達式引擎。您可以使用node-re2模塊，該模塊使用Google非常火熱的RE2 regexp引擎。但是要注意，RE2與Node的regexp不是100％兼容，因此如果你使用node-re2模塊來處理你的regexp，請檢查回歸。node-re2不支持特別復雜的regexp。

如果您正在嘗試匹配一些特別常見的內容，例如URL或文件路徑，請在regexp庫中查找示例或使用npm模塊，例如ip-regex。

Node里有一些核心模塊，包含一些比較耗時的同步API：

Encryption(加密)

Compression(壓縮)

File system(文件操作)

Child process(子進程)

這些模塊中的一些API比較耗時，主要是因為需要大量的計算（encryption, compression），I/O操作（file I/O）或者兩者都有(child process)。 這些API旨在方便編寫腳本，但是在服務端也許并不適用。如果在事件循環中調用這些API，將會花費更多的時間，從而導致事件循環阻塞。

在服務端程序中，注意一下同步API的使用。

加密：

crypto.randomBytes （同步版）

crypto.randomFillSync

crypto.pbkdf2Sync

您還應該注意為加密和解密例程提供大量輸入。

壓縮：

zlib.inflateSync

zlib.deflateSync

文件系統

不要使用同步文件系統API。例如，如果您訪問的文件位于NFS等分布式文件系統中，則訪問時間可能會有很大差異。

child process(子進程)

child_process.spawnSync

child_process.execSync

child_process.execFileSync

從Node V9開始，這個列表已經比較完善了。

JSON.parse 和 JSON.stringify 是另外兩種比較耗時的操作。 盡管他們的時間復雜度是O(n)，但是如果n比較大的話，也會花費相當多的操作時間。

如果你的服務程序操作對象主要是JSON，特別是這些JSON來自客戶端，那么你需要特別注意JSON對象的大小 或者 字符串的長度。

JSON 阻塞示例：我們創建一個大小為2 ^ 21 的obj對象，然后在字符串上JSON.stringify運行indexOf，然后運行JSON.parse。該JSON.stringify“d字符串為50MB。字符串化對象需要0.7秒，對50MB字符串的indexOf需要0.03秒，解析字符串需要1.3秒。

var obj = { a: 1 };
var niter = 20;

var before, res, took;

for (var i = 0; i < len; i++) {
  obj = { obj1: obj, obj2: obj }; // Doubles in size each iter
}

before = process.hrtime();
res = JSON.stringify(obj);
took = process.hrtime(n);
console.log("JSON.stringify took " + took);

before = process.hrtime();
res = str.indexOf("nomatch");
took = process.hrtime(n);
console.log("Pure indexof took " + took);

before = process.hrtime();
res = JSON.parse(str);
took = process.hrtime(n);
console.log("JSON.parse took " + took);

有一些npm模塊提供異步JSON API。參見例如：

具有流APIJSONStream

Big-Friendly JSON，它具有流API以及標準JSON API的異步版本，使用下面概述的事件循環分區。

假設您想在JavaScript中執行復雜計算而不阻塞事件循環。您有兩種選擇：partitioning切割或offloading轉嫁。

partitioning切割
您可以對計算進行分區，以便每個計算都在事件循環上運行，但會定期產生（轉向）其他待處理事件。在JavaScript中，很容易在閉包中保存正在進行的任務的狀態，如下面的示例2所示。

舉個簡單的例子，假設你想要的數字的平均計算1到n。

示例1：未做分割的情況，平均成本 O(n)：

for (let i = 0; i < n; i++)
  sum += i;
let avg = sum / n;
console.log("avg: " + avg);

示例2：分割求平均值，每個n異步步驟的成本O(1)。

function asyncAvg(n, avgCB) {
  // Save ongoing sum in JS closure.
  var sum = 0;
  function help(i, cb) {
    sum += i;
    if (i == n) {
      cb(sum);
      return;
    }

    // "Asynchronous recursion".
    // Schedule next operation asynchronously.
    setImmediate(help.bind(null, i+1, cb));
  }

  // Start the helper, with CB to call avgCB.
  help(1, function(sum){
      var avg = sum/n;
      avgCB(avg);
  });
}

asyncAvg(n, function(avg){
  console.log("avg of 1-n: " + avg);
});

您可以將此原則應用于數組迭代等。

offloading
如果您需要做一些更復雜的事情，partitioning也許不是一個好選擇。這是因為partitioning僅借助于事件循環。而您幾乎無法使用多核系統。 請記住，事件循環應該是調度客戶端請求，而不是自己完成它們。 對于復雜的任務，可將工作的轉嫁到工??作池上。

How to offloading
對于要卸載工作的目標工作線池，您有兩個選項。

您可以通過開發C++插件來使用內置的Node Worker Pool 。在舊版本的Node上，使用NAN構建C++插件，在較新版本上使用N-API。node-webworker-threads提供了一種訪問Node的Worker Pool的JavaScript方法。

您可以創建和管理專用于計算的工作池，而不是Node的I/O主題工作池。最直接的方法是使用子進程或群集。你應該不是簡單地創建一個子進程為每個客戶端。您可以比創建和管理子項更快地接收客戶端請求，并且您的服務器可能會成為一個分叉炸彈。

offloading的缺點
offloading方法的缺點是它會產生通信成本。只允許Event Loop查看應用程序的“namespace”（JavaScript狀態）。從Worker中，您無法在Event Loop的命名空間中操作JavaScript對象。相反，您必須序列化和反序列化您希望共享的任何對象。然后，Worker可以對它們自己的這些對象的副本進行操作，并將修改后的對象（或“補丁”）返回給事件循環。

有關序列化問題，請參閱有關JSON DOS的部分。

一些卸載的建議
您需要區分CPU密集型和I/O密集型任務，因為它們具有明顯不同的特征。

CPU密集型任務僅在調度其Worker時進行，并且必須將Worker調度到計算機的一個邏輯核心上。如果您有4個邏輯核心和5個工作線程，則其中一個工作線程會被掛起。所以，您需要為此Worker支付開銷（內存和調度成本），并且沒有獲得任何回報。

I/O密集型任務涉及查詢外部服務提供商（DNS，文件系統等）并等待其響應。雖然具有I/O密集型任務的Worker正在等待其響應，因為它沒有任何其他事情可做從而被操作系統掛起。這就使另一個Worker有機會提交其請求。因此，即使關聯的線程未運行，I/O密集型任務也將取得進展。數據庫和文件系統等外部服務提供商已經過高度優化，可以同時處理許多待處理的請求。例如，文件系統將檢查大量待處理的寫入和讀取請求，以合并沖突的更新并以最佳順序檢索文件（詳情可以參閱此處）。

如果您只依賴一個工作池，例如Node Worker Pool，那么CPU綁定和I/O綁定工作的不同特性可能會損害您的應用程序的性能。

因此，您可能希望維護一個多帶帶的Computation Worker Pool。

offloadin結論
對于簡單的任務，例如迭代任意長數組的元素，partitioning可能是一個不錯的選擇。如果您的計算更復雜，則offloading是一種更好的方法。雖然會有通信成本，但在事件循環和工作池之間傳遞序列化對象的開銷，會被使用多個核心的好處所抵消。

但是，如果您的服務器在很大程度上依賴于復雜的計算，那么您應該考慮Node是否真的適合。Node擅長I/O操作相關的工作，但對于復雜的計算，它可能不是最好的選擇。

如果您采用offloading方法，請參閱有關 不要阻塞工作池的部分。

Node有一個由kWorkers 組成的Worker Pool 。如果您使用上面討論的Offloading范例，您可能有一個多帶帶的計算工作池適用上述原則。在任何一種情況下，我們假設它k比可能同時處理的客戶端數量小得多。這與Node的“一個線程對應多個客戶端”的理念保持一致，這是其具有高可擴展性的關鍵點。

如上所述，每個Worker在繼續執行Worker Pool隊列中的下一個Task之前，會先完成當前Task。

現在，處理客戶請求所需的任務成本會有所不同。某些任務可以快速完成（例如，讀取短文件或緩存文件，或產生少量隨機字節）；而其他任務則需要更長時間（例如，讀取較大或未緩存的文件，或生成更多隨機字節）。您的目標應該是最小化任務時間的變化，可以通過區分不同任務分區來達成上述目標。

如果Worker的當前處理的任務比其他任務耗費資源比較多，那么它將無法用于其他待處理的任務。換句話說，每個相對較長的任務會減小工作池的大小直到完成。這是不可取的，因為在某種程度上，工作者池中的工作者越多，工作者池吞吐量（任務/秒）就越大，因此服務器吞吐量（客戶端請求/秒）就越大。耗時較長的任務將降低工作池的吞吐量，從而降低服務器的吞吐量。

為避免這種情況，您應該盡量減少提交給工作池的任務長度的變化。雖然將I/O請求（DB，FS等）訪問的外部系統視為黑盒是合適的，但您應該知道這些I/O請求的相對成本，并且應該避免提交可能耗時比較長的請求。

下面兩個例子應該可以說明任務時間的可能變化。

時間變化示例一：長時間的文件讀取

假設您的服務器必須讀取文件以處理某些客戶端請求。在咨詢Node的文件系統 API之后，您選擇使用fs.readFile()以簡化操作。但是，fs.readFile()（當前）未分區：它提交fs.read()跨越整個文件的單個任務。如果您為某些用戶閱讀較短的文件而為其他用戶閱讀較長的文件，則fs.readFile()可能會導致任務長度的顯著變化，從而損害工作人員池的吞吐量。

對于最壞的情況，假設攻擊者可以讓服務器讀取任意文件（這是一個目錄遍歷漏洞）。如果您的服務器運行Linux，攻擊者可以命名一個非常慢的文件：/dev/random。出于所有實際目的，它/dev/random是無限慢的，并且每個工作人員要求閱讀/dev/random將永遠不會完成該任務。然后k工作池提交攻擊者的請求。每個工作一個請求，并且沒有其他客戶端請求使用工作池將取得進展。

時間變化示例二：長時間運行的加密操作時間變化示例

假設您的服務器使用生成加密安全隨機字節crypto.randomBytes()。 crypto.randomBytes()未分區：它創建一個randomBytes()Task來生成所請求的字節數。如果為某些用戶創建更少的字節，為其他用戶創建更多字節，則crypto.randomBytes()是任務時間長度變化的另一個來源。

具有可變時間成本的任務可能會損害工作池的吞吐量。為了盡量減少任務時間的變化，您應盡可能將每個任務劃分為時間可較少的子任務。當每個子任務完成時，它應該提交下一個子任務，并且當最后的子任務完成時，它應該通知提交者。

繼續說上面fs.readFile()的例子，您應該使用fs.read()（手動分區）或ReadStream（自動分區）。

同樣的原則適用于CPU綁定任務; 該asyncAvg示例可能不適合事件循環，但它非常適合工作池。

將任務劃分為子任務時，較短的任務會擴展為少量的子任務，較長的任務會擴展為更多的子任務。在較長任務的每個子任務之間，分配給它的工作者可以處理另一個較短的任務的子任務，從而提高工作池的整體任務吞吐量。

請注意，已完成的子任務數量對于工作線程池的吞吐量而言并不是一個有用的度量標準。相反，最終完成任務的數量才是關注點。

回想一下，任務分區的目的是最小化任務時間的變化。如果您可以區分較短的任務和較長的任務（例如，對數組進行求和與對數組進行排序），則可以為每個任務類創建一個工作池。將較短的任務和較長的任務路由到多帶帶的工作池是另一種最小化任務時間變化的方法。

之所以要支持這種方法，是因為切割的任務會產生額外開銷（創建工作池任務表示和操作工作池隊列的成本）。并且這樣還可以避免不必要的任務拆分，從而節省額外的訪問工作池的成本。它還可以防止您在分區任務時出錯。

這種方法的缺點是所有這些工作池中的worker都會產生空間和時間開銷，并且會相互競爭CPU時間。請記住，每個受CPU限制的任務僅在計劃時才進行。因此，您應該在仔細分析后才考慮這種方法。

Worker Pool:結論

無論您是僅使用Node工作池還是維護多帶帶的工作池，您都應該優化池的任務吞吐量。

為此，請使用任務拆分 以最小化任務時間的變化。

雖然Node核心模塊為各種應用程序提供了構建塊，但有時需要更多的東西。Node開發人員從npm生態系統中獲益匪淺，數十萬個模塊提供了加速開發過程的功能。

但請記住，大多數這些模塊都是由第三方開發人員編寫的，并且通常只發布盡力而為的保證。使用npm模塊的開發人員應該關注兩件事，盡管后者經常被遺忘。

Does it honor its APIs?

它的API可能會阻塞事件循環或工作者嗎？許多模塊都沒有努力表明其API的成本，這對社區不利。

對于簡單的API，您可以估算API的成本, 例如字符串操作的成本并不難理解。但在許多情況下，很難搞清楚API可能會花費多少成本。

如果您正在調用可能會執行昂貴操作的API，請仔細檢查成本。要求開發人員記錄它，或者自己檢查源代碼（并提交記錄成本的PR）。

請記住，即使API是異步的，您也不知道它可能花費多少時間在Worker或每個分區的Event Loop上。例如，假設在asyncAvg上面給出的示例中，對助手函數的每次調用將一半的數字相加而不是其中一個。那么這個函數仍然是異步的，但每個拆分的任務時間復雜度仍然是O(n)，而不是O(1)。所以在使用任意值的n時，會使安全性降低很多。

Node有兩種類型的線程：一個Event Loop和k Workers。Event Loop負責JavaScript回調和非阻塞I/O，并且Worker執行與完成異步請求的C++代碼相對應的任務，包括阻止I/O和CPU密集型工作。兩種類型的線程一次只能處理一個活動。如果任何回調或任務需要很長時間，則運行它的線程將被阻止。如果您的應用程序進行阻塞回調或任務，則可能導致吞吐量（客戶端/秒）降級最多，并且最壞情況下會導致完全拒絕服務。

要編寫高吞吐量，更多防DoS的Web服務器，您必須確保在良性或惡意輸入上，您的事件循環和工作者都不會被阻塞。