NPM酷庫：split 按行讀取文本流

騫諱護發布于2019-08-22 14:06 / 2569人閱讀

摘要：酷庫，每天兩分鐘，了解一個流行庫。昨天，我們了解的中數據流的處理，并使用快速創建雙向流，今天，我們繼續討論數據流。我們昨天說到，使用數據流，可以分批讀取數據到內存，而不用將文件一次性讀取到內存。

NPM酷庫，每天兩分鐘，了解一個流行NPM庫。

昨天，我們了解的Node.js中數據流的處理，并使用through快速創建雙向流，今天，我們繼續討論數據流。

我們昨天說到，使用數據流，可以分批讀取數據到內存，而不用將文件一次性讀取到內存。比如一個非常大文本文件，每一行是一條數據，我們可以每次讀取一行，進行處理。

fs.createReadStream(file)
  .on("data", function (chunk) {
    //...
  });

上述代碼中，每次流對象的data事件都會傳遞一個數據塊chunk，但是遺憾的是，每個chunk并不是一行，也不是完整的多行，某一行有可能會被分開到兩個chunk中，分兩次返回，所以我們就需要多做很多額外的工作來處理。

split

split 能夠快速實現對流數據塊的處理，每一次精確返回一行完整的數據：

fs.createReadStream(file)
  .pipe(split())
  .on("data", function (chunk) {
    //...
  });

參考資料

https://github.com/dominictar...

GPU云服務器云服務器按行讀取文件 python按行讀取 java讀取按行 java讀取文件按行

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/92852.html

NPM酷庫：through 快速創建雙向流

摘要：流做下載等功能時候，我們經常會使用數據流模塊，因為，在大文件下載場景下，如果使用接口將文件全部讀入內存然后再返回給客戶端，很容易撐爆內存，比如一個文件，同時有人在下載，那么服務就需要占用內存。 NPM酷庫，每天兩分鐘，了解一個流行NPM庫。流做下載等功能時候，我們經常會使用數據流模塊（stream），因為，在大文件下載場景下，如果使用fs.readFile()接口將文件全部讀入內存...

DTeam 2019-08-22 14:02 評論0 收藏0
NPM酷庫049：csv-parse，解析csv文件

摘要：酷庫，每天兩分鐘，了解一個流行庫。在酷庫中，我們介紹了可以將數據導出為文件的庫，今天，今天我們再來了解如何解析導入一個文件。用于將一個文本字符串數據解析為對象或數組張三李四張三李四除了同步方式解析，還提供異步函數和流對象支持。 NPM酷庫，每天兩分鐘，了解一個流行NPM庫。· 在NPM酷庫048中，我們介紹了可以將JSON數據導出為csv文件的庫：json2csv，今天，今天我們再來了...

spademan 2019-08-26 11:47 評論0 收藏0
NPM酷庫052：sax，按流解析XML

摘要：酷庫，每天兩分鐘，了解一個流行庫。在酷庫中，我們學習了如何使用庫將格式文檔字符串解析為的對象數據，本期，我們繼續學習，一個可以以流編程的方式解析。 NPM酷庫，每天兩分鐘，了解一個流行NPM庫。· 在NPM酷庫051中，我們學習了如何使用xml2js庫將XML格式文檔字符串解析為JavaScript的對象數據，本期，我們繼續學習sax，一個可以以流編程的方式解析XML。使用流編程的方...

pinecone 2019-08-26 11:47 評論0 收藏0
NPM酷庫052：sax，按流解析XML

摘要：酷庫，每天兩分鐘，了解一個流行庫。在酷庫中，我們學習了如何使用庫將格式文檔字符串解析為的對象數據，本期，我們繼續學習，一個可以以流編程的方式解析。 NPM酷庫，每天兩分鐘，了解一個流行NPM庫。· 在NPM酷庫051中，我們學習了如何使用xml2js庫將XML格式文檔字符串解析為JavaScript的對象數據，本期，我們繼續學習sax，一個可以以流編程的方式解析XML。使用流編程的方...

zhangke3016 2019-08-27 10:57 評論0 收藏0
NPM酷庫：ms，毫秒時間描述轉換

摘要：酷庫，每天兩分鐘，了解一個流行庫。在中，最常用的時間單位就是毫秒，等函數用到的數字表示時間，其單位就是毫秒。直接理解這些數字比較困難，有時候我們需要將表示毫秒的數字轉換成字符串，人能直接理解的文本。比如記錄輸出程序的運行時間等場景。 NPM酷庫，每天兩分鐘，了解一個流行NPM庫。在JS中，最常用的時間單位就是毫秒，setTimeout() 、Date.now() 等函數用到的數字表示...

cyqian 2019-08-22 13:57 評論0 收藏0