基于零拷貝技術(shù)的的java NIO文件下載服務(wù)器

Keven 發(fā)布于2019-08-16 15:32 / 2963人閱讀

摘要：什么是零拷貝我們首先來(lái)認(rèn)識(shí)一下傳統(tǒng)的操作。因?yàn)樵谶@套體系里，不僅僅提供了非阻塞的編程模型，而且提供了類(lèi)似零拷貝，內(nèi)存映射這樣的新技術(shù)對(duì)于操作系統(tǒng)來(lái)說(shuō)早就有了。

什么是零拷貝？
我們首先來(lái)認(rèn)識(shí)一下傳統(tǒng)的I/O操作。
假如說(shuō)用戶進(jìn)程現(xiàn)在要把一個(gè)文件復(fù)制到另一個(gè)地方。
那么用戶程序必須先把這個(gè)文件讀入內(nèi)存，然后再把內(nèi)存里的數(shù)據(jù)寫(xiě)入另一個(gè)文件。
不過(guò)文件讀入內(nèi)存也不是直接讀入用戶進(jìn)程的內(nèi)存，而是先讀入操作系統(tǒng)內(nèi)核的內(nèi)存，然后再?gòu)牟僮飨到y(tǒng)內(nèi)核的內(nèi)存區(qū)讀到用戶進(jìn)程的內(nèi)存。
與之對(duì)應(yīng)的是，寫(xiě)文件也不是直接寫(xiě)到磁盤(pán)上的文件，而是用戶進(jìn)程先把自己內(nèi)存的數(shù)據(jù)傳到操作系統(tǒng)內(nèi)核的內(nèi)存，然后再?gòu)牟僮飨到y(tǒng)內(nèi)核的內(nèi)存區(qū)寫(xiě)到磁盤(pán)。而這其中涉及到諸多的系統(tǒng)調(diào)用。
因此看上去簡(jiǎn)單的操作至少要分為四部
1磁盤(pán)文件讀入操作系統(tǒng)
2操作系統(tǒng)讀到用戶進(jìn)程
3用戶進(jìn)程寫(xiě)到操作系統(tǒng)
4操作系統(tǒng)寫(xiě)入磁盤(pán)文件

零拷貝和傳統(tǒng)I/O有和不同？
零拷貝就是指，傳輸一個(gè)文件的時(shí)候，不需要把文件讀到用戶進(jìn)程再處理，而是直接把文件讀到操作系統(tǒng)一個(gè)內(nèi)存區(qū)，然后再移動(dòng)到操作系統(tǒng)的另一個(gè)內(nèi)存區(qū)，最后寫(xiě)入文件。
這樣一來(lái)，步驟變成這樣：
1磁盤(pán)文件讀入操作系統(tǒng)
2操作系統(tǒng)把數(shù)據(jù)寫(xiě)入操作系統(tǒng)另一個(gè)區(qū)域
3操作系統(tǒng)寫(xiě)入磁盤(pán)文件
雖然只少了一步，但是這里不僅減少了數(shù)據(jù)移動(dòng)的時(shí)間損耗，而且減少了系統(tǒng)調(diào)用的次數(shù)，因此大大縮短了時(shí)間。
更加詳細(xì)的解釋請(qǐng)看https://blog.csdn.net/u010530...

java里如何實(shí)現(xiàn)零拷貝呢？
這就要說(shuō)起java nio中的FileChannel.transferTo()方法了，該方法是把FileChannel中的數(shù)據(jù)利用零靠的技術(shù)轉(zhuǎn)移到另一個(gè)channel。這另一個(gè)channel往往是FileChannel，不過(guò)SocketChannel也是可以的:)。
簡(jiǎn)單實(shí)現(xiàn)(靜態(tài)下載文件，不能根據(jù)用戶指令來(lái)更改下載的文件。)
代碼如下：
單線程版本：

package qiuqi.filedownloadtest;

import java.io.FileInputStream;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.channels.*;
import java.util.Iterator;

public class FileServer {

    
    public static void main(String[] args) throws IOException {


        startServer();
    }

    public static void startServer() throws IOException {
        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        serverSocketChannel.bind(new InetSocketAddress(9999));
        serverSocketChannel.configureBlocking(false);
        Selector selector = Selector.open();
        serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
        while (selector.select() > 0)
        {
            Iterator iterator = selector.selectedKeys().iterator();
            while (iterator.hasNext())
            {
                SelectionKey key = iterator.next();
                iterator.remove();
                if(key.isAcceptable())
                {
                 SocketChannel socketChannel = serverSocketChannel.accept();
                 try (FileInputStream in = new FileInputStream("C:UsersdellDesktopOL手機(jī)數(shù)據(jù)(1).rar")){

                         long size = in.available();
                         long num = 0;
                         long begin = 0;
                         while ( (num = in.getChannel().transferTo(begin,size,socketChannel))!=0)
                         {
                             size-=num;
                             begin += num;
                         }
                     socketChannel.close();

                 }
                 catch (IOException e){e.printStackTrace();}

                }
            }
        }


    }
}

多線程版本：

package qiuqi.filedownloadtest;

import java.io.FileInputStream;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.channels.*;
import java.util.Iterator;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class FileServer {

    static ExecutorService threadpool = Executors.newCachedThreadPool();
    public static void main(String[] args) throws IOException {

        startServer();
    }

    public static void startServer() throws IOException {
        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        serverSocketChannel.bind(new InetSocketAddress(9999));
        serverSocketChannel.configureBlocking(false);
        Selector selector = Selector.open();
        serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
        while (selector.select() > 0)
        {
            Iterator iterator = selector.selectedKeys().iterator();
            while (iterator.hasNext())
            {
                SelectionKey key = iterator.next();
                iterator.remove();
                if(key.isAcceptable())
                {
                 SocketChannel socketChannel = serverSocketChannel.accept();
                    threadpool.execute(new Runnable() {
                        @Override
                        public void run() {
                            try (FileInputStream in = new FileInputStream("C:UsersdellDesktopOL手機(jī)數(shù)據(jù)(1).rar")){

                         long size = in.available();
                         long num = 0;
                         long begin = 0;
                         while ( (num = in.getChannel().transferTo(begin,size,socketChannel))!=0)
                         {
                             size-=num;
                             begin += num;
                         }
                                socketChannel.close();
                            }
                            catch (IOException e){e.printStackTrace();}
                        }
                    });
                 

                }
            }
        }


    }
}

代碼就不講解了。如果學(xué)過(guò)java nio，那么理解上面的程序輕而易舉。
如果不熟悉java nio的服務(wù)器編程那么請(qǐng)先學(xué)習(xí)再來(lái)觀看。

最后我想說(shuō)，java NIO真的是NEW IO即新的IO，而不是NonBlocking IO即非阻塞IO。因?yàn)樵谶@套體系里，不僅僅提供了非阻塞的編程模型，而且提供了類(lèi)似零拷貝，內(nèi)存映射這樣的新技術(shù)(對(duì)于操作系統(tǒng)來(lái)說(shuō)早就有了)。