JAVA NIO 簡介

jopen 10年前發布 | 15K 次閱讀 NIO Java開發 Java

1.   基本 概念

IO 是主存和外部設備 ( 硬盤、終端和網絡等 ) 拷貝數據的過程。 IO 是操作系統的底層功能實現,底層通過 I/O 指令進行完成。

所有語言運行時系統提供執行 I/O 較高級別的工具。 (c 的 printf scanf,java 的面向對象封裝 )

2.    Java 標準 io 回顧

Java 標準 IO 類庫是 io 面向對象的一種抽象。基于本地方法的底層實現,我們無須關注底層實現。 InputStream\OutputStream( 字節流 ) :一次傳送一個字節。 Reader\Writer( 字符流 ) :一次一個字符。

3.    nio 簡介

nio 是 java New IO 的簡稱,在 jdk1.4 里提供的新 api 。 Sun 官方標榜的特性如下:

     為所有的原始類型提供 (Buffer) 緩存支持。

     字符集編碼解碼解決方案。

     Channel :一個新的原始 I/O 抽象。

     支持鎖和內存映射文件的文件訪問接口。

     提供多路 (non-bloking) 非阻塞式的高伸縮性網絡 I/O 。

本文將圍繞這幾個特性進行學習和介紹。

4.   Buffer&Chanel

Channel 和 buffer 是 NIO 是兩個最基本的數據類型抽象。

Buffer:

        是一塊連續的內存塊。

        是 NIO 數據讀或寫的中轉地。

Channel:

        數據的源頭或者數據的目的地

        用于向 buffer 提供數據或者讀取 buffer 數據 ,buffer 對象的唯一接口。

–         異步 I/O 支持


JAVA NIO 簡介

圖1:channel和buffer關系
 

 

例子 1:CopyFile.java:

Java代碼   
        package sample;  
    
        import java.io.FileInputStream;  
        import java.io.FileOutputStream;  
        import java.nio.ByteBuffer;  
        import java.nio.channels.FileChannel;  
    
        public class CopyFile {  
            public static void main(String[] args) throws Exception {  
                String infile = "C:\\copy.sql";  
                String outfile = "C:\\copy.txt";  
                // 獲取源文件和目標文件的輸入輸出流  
                FileInputStream fin = new FileInputStream(infile);  
                FileOutputStream fout = new FileOutputStream(outfile);  
                // 獲取輸入輸出通道  
                FileChannel fcin = fin.getChannel();  
                FileChannel fcout = fout.getChannel();  
                // 創建緩沖區  
                ByteBuffer buffer = ByteBuffer.allocate(1024);  
                while (true) {  
                    // clear方法重設緩沖區,使它可以接受讀入的數據  
                    buffer.clear();  
                    // 從輸入通道中將數據讀到緩沖區  
                    int r = fcin.read(buffer);  
                    // read方法返回讀取的字節數,可能為零,如果該通道已到達流的末尾,則返回-1  
                    if (r == -1) {  
                        break;  
                    }  
                    // flip方法讓緩沖區可以將新讀入的數據寫入另一個通道  
                    buffer.flip();  
                    // 從輸出通道中將數據寫入緩沖區  
                    fcout.write(buffer);  
                }  
            }  
        }  

 

其中 buffer 內部結構如下 ( 下圖拷貝自資料 ):


JAVA NIO 簡介

圖2:buffer內部結構 

一個 buffer 主要由 position,limit,capacity 三個變量來控制讀寫的過程。此三個變量的含義見如下表格:

參數

寫模式    

讀模式

position

當前寫入的單位數據數量。

當前讀取的單位數據位置。

limit

代表最多能寫多少單位數據和容量是一樣的。

代表最多能讀多少單位數據,和之前寫入的單位數據量一致。

capacity

buffer 容量

buffer 容量

Buffer 常見方法:

flip(): 寫模式轉換成讀模式

rewind() :將 position 重置為 0 ,一般用于重復讀。

clear() :清空 buffer ,準備再次被寫入 (position 變成 0 , limit 變成 capacity) 。

compact(): 將未讀取的數據拷貝到 buffer 的頭部位。

mark() 、 reset():mark 可以標記一個位置, reset 可以重置到該位置。

Buffer 常見類型: ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer ShortBuffer 。

channel 常見類型 :FileChannel 、 DatagramChannel(UDP) 、 SocketChannel(TCP) 、 ServerSocketChannel(TCP)

在本機上面做了個簡單的性能測試。我的筆記本性能一般。 ( 具體代碼可以見附件。見 nio.sample.filecopy 包下面的例子 ) 以下是參考數據:

        場景 1 : Copy 一個 370M 的文件

        場景 2: 三個線程同時拷貝,每個線程拷貝一個 370M 文件

 

場景

FileInputStream+

FileOutputStream

FileInputStream+

BufferedInputStream+

FileOutputStream

ByteBuffer+

FileChannel

MappedByteBuffer

+FileChannel

場景一時間 ( 毫秒)                 

25155

17500

19000

16500

場景二時間 ( 毫秒 )

69000

67031

74031

71016

5.    nio.charset

字符編碼解碼 : 字節碼本身只是一些數字,放到正確的上下文中被正確被解析。向 ByteBuffer 中存放數據時需要考慮字符集的編碼方式,讀取展示 ByteBuffer 數據時涉及對字符集解碼。

Java.nio.charset 提供了編碼解碼一套解決方案。

以我們最常見的 http 請求為例,在請求的時候必須對請求進行正確的編碼。在得到響應時必須對響應進行正確的解碼。

以下代碼向 baidu 發一次請求,并獲取結果進行顯示。例子演示到了 charset 的使用。

例子 2BaiduReader.java

Java代碼   
     
        package nio.readpage;  
    
        import java.nio.ByteBuffer;  
        import java.nio.channels.SocketChannel;  
        import java.nio.charset.Charset;  
        import java.net.InetSocketAddress;  
        import java.io.IOException;  
        public class BaiduReader {  
            private Charset charset = Charset.forName("GBK");// 創建GBK字符集  
            private SocketChannel channel;  
            public void readHTMLContent() {  
                try {  
                    InetSocketAddress socketAddress = new InetSocketAddress(  
        "www.baidu.com", 80);  
        //step1:打開連接  
                    channel = SocketChannel.open(socketAddress);  
                //step2:發送請求,使用GBK編碼  
                    channel.write(charset.encode("GET " + "/ HTTP/1.1" + "\r\n\r\n"));  
                    //step3:讀取數據  
                    ByteBuffer buffer = ByteBuffer.allocate(1024);// 創建1024字節的緩沖  
                    while (channel.read(buffer) != -1) {  
                        buffer.flip();// flip方法在讀緩沖區字節操作之前調用。  
                        System.out.println(charset.decode(buffer));  
                        // 使用Charset.decode方法將字節轉換為字符串  
                        buffer.clear();// 清空緩沖  
                    }  
                } catch (IOException e) {  
                    System.err.println(e.toString());  
                } finally {  
                    if (channel != null) {  
                        try {  
                            channel.close();  
                        } catch (IOException e) {  
                        }  
                    }  
                }  
            }  
            public static void main(String[] args) {  
                new BaiduReader().readHTMLContent();  
            }  
        }  

    6.      非阻塞 IO

    關于非阻塞 IO 將從何為阻塞、何為非阻塞、非阻塞原理和異步核心 API 幾個方面來理解。

    何為阻塞?

    一個常見的網絡 IO 通訊流程如下 :



     

    JAVA NIO 簡介

    圖3:網絡通訊基本過程

    從該網絡通訊過程來理解一下何為阻塞 :

    在以上過程中若連接還沒到來,那么 accept 會阻塞 , 程序運行到這里不得不掛起, CPU 轉而執行其他線程。

    在以上過程中若數據還沒準備好, read 會一樣也會阻塞。

    阻塞式網絡 IO 的特點:多線程處理多個連接。每個線程擁有自己的棧空間并且占用一些 CPU 時間。每個線程遇到外部為準備好的時候,都會阻塞掉。阻塞的結果就是會帶來大量的進程上下文切換。且大部分進程上下文切換可能是無意義的。比如假設一個線程監聽一個端口,一天只會有幾次請求進來,但是該 cpu 不得不為該線程不斷做上下文切換嘗試,大部分的切換以阻塞告終。

     

    何為非阻塞?

    下面有個隱喻:

    一輛從 A 開往 B 的公共汽車上,路上有很多點可能會有人下車。司機不知道哪些點會有哪些人會下車,對于需要下車的人,如何處理更好?

    1. 司機過程中定時詢問每個乘客是否到達目的地,若有人說到了,那么司機停車,乘客下車。 ( 類似阻塞式 )

    2. 每個人告訴售票員自己的目的地,然后睡覺,司機只和售票員交互,到了某個點由售票員通知乘客下車。 ( 類似非阻塞 )

    很顯然,每個人要到達某個目的地可以認為是一個線程,司機可以認為是 CPU 。在阻塞式里面,每個線程需要不斷的輪詢,上下文切換,以達到找到目的地的結果。而在非阻塞方式里,每個乘客 ( 線程 ) 都在睡覺 ( 休眠 ) ,只在真正外部環境準備好了才喚醒,這樣的喚醒肯定不會阻塞。

      非阻塞的原理

    把整個過程切換成小的任務,通過任務間協作完成。

    由一個專門的線程來處理所有的 IO 事件,并負責分發。

    事件驅動機制:事件到的時候觸發,而不是同步的去監視事件。

    線程通訊:線程之間通過 wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的進程切換。

    以下是異步 IO 的結構:



     

    JAVA NIO 簡介

    圖4:非阻塞基本原理

     

    Reactor 就是上面隱喻的售票員角色。每個線程的處理流程大概都是讀取數據、解碼、計算處理、編碼、發送響應。

    異步 IO 核心 API

    Selector

    異步 IO 的核心類,它能檢測一個或多個通道 (channel) 上的事件,并將事件分發出去。

    使用一個 select 線程就能監聽多個通道上的事件,并基于事件驅動觸發相應的響應。而不需要為每個 channel 去分配一個線程。

    來自:http://www.iteye.com/topic/834447

     本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
     轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
     本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!