基于Node.js的大文件分片上傳

BigTomato 發(fā)布于2019-08-23 18:12 / 1311人閱讀

摘要：基于的大文件分片上傳我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。所以把文件名稱加上。后續(xù)延伸斷點續(xù)傳多文件多批次上傳

基于Node.js的大文件分片上傳

我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。同時如果文件過大，在網絡不佳的情況下，如何做到斷點續(xù)傳？也是需要記錄當前上傳文件，然后在下一次進行上傳請求的時候去做判斷。

先上代碼：代碼倉庫地址

前端 1. index.html




    
    
    
    文件上傳

    
    
    

    



    大文件上傳測試
    
        自定義上傳文件

2. 依賴的文件

axios.js
jquery
spark-md5.js

后端 1. app.js

const Koa = require("koa");
const app = new Koa();
const Router = require("koa-router");
const multer = require("koa-multer");
const serve = require("koa-static");
const path = require("path");
const fs = require("fs-extra");
const koaBody = require("koa-body");
const { mkdirsSync } = require("./utils/dir");
const uploadPath = path.join(__dirname, "uploads");
const uploadTempPath = path.join(uploadPath, "temp");
const upload = multer({ dest: uploadTempPath });
const router = new Router();
app.use(koaBody());
/**
 * single(fieldname)
 * Accept a single file with the name fieldname. The single file will be stored in req.file.
 */
router.post("/file/upload", upload.single("file"), async (ctx, next) => {
    console.log("file upload...")
    // 根據(jù)文件hash創(chuàng)建文件夾，把默認上傳的文件移動當前hash文件夾下。方便后續(xù)文件合并。
    const {
        name,
        total,
        index,
        size,
        hash
    } = ctx.req.body;

    const chunksPath = path.join(uploadPath, hash, "/");
    if(!fs.existsSync(chunksPath)) mkdirsSync(chunksPath);
    fs.renameSync(ctx.req.file.path, chunksPath + hash + "-" + index);
    ctx.status = 200;
    ctx.res.end("Success");
})

router.post("/file/merge_chunks", async (ctx, next) => {
    const {
        size, name, total, hash
    } = ctx.request.body;
    // 根據(jù)hash值，獲取分片文件。
    // 創(chuàng)建存儲文件
    // 合并
    const chunksPath = path.join(uploadPath, hash, "/");
    const filePath = path.join(uploadPath, name);
    // 讀取所有的chunks 文件名存放在數(shù)組中
    const chunks = fs.readdirSync(chunksPath);
    // 創(chuàng)建存儲文件
    fs.writeFileSync(filePath, ""); 
    if(chunks.length !== total || chunks.length === 0) {
        ctx.status = 200;
        ctx.res.end("切片文件數(shù)量不符合");
        return;
    }
    for (let i = 0; i < total; i++) {
        // 追加寫入到文件中
        fs.appendFileSync(filePath, fs.readFileSync(chunksPath + hash + "-" +i));
        // 刪除本次使用的chunk
        fs.unlinkSync(chunksPath + hash + "-" +i);
    }
    fs.rmdirSync(chunksPath);
    // 文件合并成功，可以把文件信息進行入庫。
    ctx.status = 200;
    ctx.res.end("合并成功");
})
app.use(router.routes());
app.use(router.allowedMethods());
app.use(serve(__dirname + "/static"));
app.listen(9000);

2. utils/dir.js

const path = require("path");
const fs = require("fs-extra");
const mkdirsSync = (dirname) =>?{
    if(fs.existsSync(dirname))?{
        return true;
    } else {
        if (mkdirsSync(path.dirname(dirname)))?{
            fs.mkdirSync(dirname);
            return true;
        }
    }
}
module.exports = {
    mkdirsSync
};

操作步驟說明 服務端的搭建

我們以下的操作都是保證在已經安裝node以及npm的前提下進行。node的安裝以及使用可以參考官方網站。

新建項目文件夾file-upload

使用npm初始化一個項目：cd file-upload && npm init

安裝相關依賴

   npm i koa
   npm i koa-router --save    // Koa路由
   npm i koa-multer  --save   // 文件上傳處理模塊
   npm i koa-static --save    // Koa靜態(tài)資源處理模塊
   npm i fs-extra --save      // 文件處理
   npm i koa-body --save      // 請求參數(shù)解析

創(chuàng)建項目結構

   file-upload
       - static
           - index.html
           - spark-md5.min.js
       - uploads
           - temp
       - utils
           - dir.js
       - app.js

復制相應的代碼到指定位置即可

項目啟動：node app.js (可以使用 nodemon 來對服務進行管理)

訪問：http://localhost:9000/index.html

其中細節(jié)部分代碼里有相應的注釋說明，瀏覽代碼就一目了然。
后續(xù)延伸：斷點續(xù)傳、多文件多批次上傳

GPU云服務器云服務器基于hadoop的大數(shù)據(jù) 分片上傳分片上傳基于數(shù)據(jù)分析的大數(shù)據(jù) 基于云計算的大數(shù)據(jù)挖掘

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/104837.html

基于Node.js的大文件分片上傳

摘要：基于的大文件分片上傳我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。所以把文件名稱加上。后續(xù)延伸斷點續(xù)傳多文件多批次上傳基于Node.js的大文件分片上傳我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。同時如...

Genng 2019-08-30 11:13 評論0 收藏0
基于Node.js的大文件分片上傳

摘要：基于的大文件分片上傳我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。所以把文件名稱加上。后續(xù)延伸斷點續(xù)傳多文件多批次上傳基于Node.js的大文件分片上傳我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。同時如...

lcodecorex 2019-08-02 15:19 評論0 收藏0
基于Node.js的大文件分片上傳

摘要：基于的大文件分片上傳我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。所以把文件名稱加上。方便后續(xù)文件合并。基于Node.js的大文件分片上傳我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。同時如果文件過大，在...

W4n9Hu1 2019-08-02 15:36 評論0 收藏0
基于Node.js的大文件分片上傳

摘要：基于的大文件分片上傳我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。所以把文件名稱加上。方便后續(xù)文件合并。基于Node.js的大文件分片上傳我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。同時如果文件過大，在...

dadong 2019-08-26 10:16 評論0 收藏0
基于Node.js的大文件分片上傳

摘要：基于的大文件分片上傳我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。所以把文件名稱加上。方便后續(xù)文件合并。基于Node.js的大文件分片上傳我們在做文件上傳的時候，如果文件過大，可能會導致請求超時的情況。所以，在遇到需要對大文件進行上傳的時候，就需要對文件進行分片上傳的操作。同時如果文件過大，在...

tianlai 2019-08-30 15:44 評論0 收藏0