Netty那點事(一)概述
來自: http://www.importnew.com/17647.html
目錄
- 起: Netty 是什么
- 承:體驗Netty
- 轉:Netty背后的事件驅動機制
- 合:開啟Netty源碼之門
- Netty那點事系列文章索引
Netty和Mina是Java世界非常知名的通訊框架。它們都出自同一個作者,Mina誕生略早,屬于Apache基金會,而Netty開始在Jboss名下,后來出來自立門戶netty.io。關于Mina已有@FrankHui的 Mina系列文章 ,我正好最近也要做一些網絡方面的開發,就研究一下Netty的源碼,順便分享出來了。
Netty目前有兩個分支:4.x和3.x。4.0分支重寫了很多東西,并對項目進行了分包,規模比較龐大,入手會困難一些,而3.x版本則已經被廣泛使用。本系列文章針對netty 3.7.0 final。3.x和4.0的區別可以參考這篇文章: http://www.oschina.net/translate/netty-4-0-new-and-noteworthy?print 。
起:Netty是什么
大概用Netty的,無論新手還是老手,都知道它是一個“網絡通訊框架”。所謂框架,基本上都是一個作用:基于底層API,提供更便捷的編程模型。那么”通訊框架”到底做了什么事情呢?回答這個問題并不太容易,我們不妨反過來看看,不使用netty,直接基于NIO編寫網絡程序,你需要做什么(以Server端TCP連接為例,這里我們使用Reactor模型):
- 監聽端口,建立Socket連接
- 建立線程,處理內容
- 1. 讀取Socket內容,并對協議進行解析
- 2. 進行邏輯處理
- 3. 回寫響應內容
- 4. 如果是多次交互的應用(SMTP、FTP),則需要保持連接多進行幾次交互
- 關閉連接
建立線程是一個比較耗時的操作,同時維護線程本身也有一些開銷,所以我們會需要多線程機制,幸好JDK已經有很方便的多線程框架了,這里我們不需要花很多心思。
此外,因為TCP連接的特性,我們還要使用連接池來進行管理:
- 建立TCP連接是比較耗時的操作,對于頻繁的通訊,保持連接效果更好
- 對于并發請求,可能需要建立多個連接
- 維護多個連接后,每次通訊,需要選擇某一可用連接
- 連接超時和關閉機制
想想就覺得很復雜了!實際上,基于NIO直接實現這部分東西,即使是老手也容易出現錯誤,而使用Netty之后,你只需要關注邏輯處理部分就可以了。
承:體驗Netty
這里我們引用Netty的example包里的一個例子,一個簡單的EchoServer,它接受客戶端輸入,并將輸入原樣返回。其主要代碼如下:
public void run() { // Configure the server. ServerBootstrap bootstrap = new ServerBootstrap( new NioServerSocketChannelFactory( Executors.newCachedThreadPool(), Executors.newCachedThreadPool()));// Set up the pipeline factory. bootstrap.setPipelineFactory(new ChannelPipelineFactory() { public ChannelPipeline getPipeline() throws Exception { return Channels.pipeline(new EchoServerHandler()); } }); // Bind and start to accept incoming connections. bootstrap.bind(new InetSocketAddress(port));
}</pre>
這里 EchoServerHandler 是其業務邏輯的實現者,大致代碼如下:
public class EchoServerHandler extends SimpleChannelUpstreamHandler {@Override public void messageReceived( ChannelHandlerContext ctx, MessageEvent e) { // Send back the received message to the remote peer. e.getChannel().write(e.getMessage()); }
}</pre>
還是挺簡單的,不是嗎?
轉:Netty背后的事件驅動機制
完成了以上一段代碼,我們算是與Netty進行了第一次親密接觸。如果想深入學習呢?
首先推薦Netty的官方User Guide: http://netty.io/3.7/guide/ 。其次,閱讀源碼是了解一個開源工具非常好的手段,但是Java世界的框架大多追求大而全,功能完備,如果逐個閱讀,難免迷失方向,Netty也并不例外。相反,抓住幾個重點對象,理解其領域概念及設計思想,從而理清其脈絡,相當于打通了任督二脈,以后的閱讀就不再困難了。
理解Netty的關鍵點在哪呢?我覺得,除了NIO的相關知識,另一個就是事件驅動的設計思想。什么叫事件驅動?我們回頭看看 EchoServerHandler 的代碼,其中的參數: public void messageReceived(ChannelHandlerContext ctx, MessageEvent e) ,MessageEvent就是一個事件。這個事件攜帶了一些信息,例如這里 e.getMessage() 就是消息的內容,而 EchoServerHandler 則描述了處理這種事件的方式。一旦某個事件觸發,相應的Handler則會被調用,并進行處理。這種事件機制在UI編程里廣泛應用,而Netty則將其應用到了網絡編程領域。
在Netty里,所有事件都來自 ChannelEvent 接口,這些事件涵蓋監聽端口、建立連接、讀寫數據等網絡通訊的各個階段。而事件的處理者就是 ChannelHandler ,這樣,不但是業務邏輯,連網絡通訊流程中底層的處理,都可以通過實現 ChannelHandler 來完成了。事實上,Netty內部的連接處理、協議編解碼、超時等機制,都是通過handler完成的。當博主弄明白其中的奧妙時,不得不佩服這種設計!
下圖描述了Netty進行事件處理的流程。 Channel 是連接的通道,是ChannelEvent的產生者,而 ChannelPipeline 可以理解為ChannelHandler的集合。
![]()
合:開啟Netty源碼之門
理解了Netty的事件驅動機制,我們現在可以來研究Netty的各個模塊了。Netty的包結構如下:
org └── jboss └── netty ├── bootstrap 配置并啟動服務的類 ├── buffer 緩沖相關類,對NIO Buffer做了一些封裝 ├── channel 核心部分,處理連接 ├── container 連接其他容器的代碼 ├── example 使用示例 ├── handler 基于handler的擴展部分,實現協議編解碼等附加功能 ├── logging 日志 └── util 工具類在這里面, channel 和 handler 兩部分比較復雜。我們不妨與Netty官方的結構圖對照一下,來了解其功能。
![]()
具體的解釋可以看這里: http://netty.io/3.7/guide/#architecture 。圖中可以看到,除了之前說到的事件驅動機制之外,Netty的核心功能還包括兩部分:
- Zero-Copy-Capable Rich Byte Buffer
零拷貝的Buffer。為什么叫零拷貝?因為在數據傳輸時,最終處理的數據會需要對單個傳輸層的報文,進行組合或者拆分。NIO原生的ByteBuffer要做到這件事,需要對ByteBuffer內容進行拷貝,產生新的ByteBuffer,而Netty通過提供Composite(組合)和Slice(切分)兩種Buffer來實現零拷貝。這部分代碼在 org.jboss.netty.buffer 包中。
- Universal Communication API
統一的通訊API。因為Java的Old I/O和New I/O,使用了互不兼容的API,而Netty則提供了統一的API( org.jboss.netty.channel.Channel )來封裝這兩種I/O模型。這部分代碼在 org.jboss.netty.channel 包中。
此外,Protocol Support功能通過handler機制實現。
接下來的文章,我們會根據模塊,詳細的對Netty源碼進行分析。
最后附上Netty那點事系列文章/代碼的Github地址: https://github.com/code4craft/netty-learning
參考資料:
- Netty 3.7 User Guide http://netty.io/3.7/guide/
- What is Netty? http://ayedo.github.io/netty/2013/06/19/what-is-netty.html
</ul> </div>