淘寶實時數據傳輸平臺:TimeTunnel

jopen 10年前發布 | 23K 次閱讀 TimeTunnel

什么是TimeTunnel
!TimeTunnel(簡稱TT)是一個基于thrift通訊框架搭建的實時數據傳輸平臺,具有高性能、實時性、順序性、高可靠性、高可用性、可擴展性等特點。
高性能
2k大小的消息,峰值每秒4w TPS的訪問。淘寶3臺服務器,每天處理2.3T(壓縮后)數據,峰值每秒50MByte流入流量、130MByte流出流量
實時性
90%的消息5ms以內送達
順序性
如果你開啟了順序傳輸功能,timetunnel保證消息的發布順序和訂閱順序是一致的
高可靠性
存儲方面,我們設計了內存->磁盤->hadoop dfs三級緩存機制,確保數據可靠。 系統方面,我們將服務器節點組織成環,在環里面每一個節點的后續節點是當前節點的備份節點,當某節點故障時,后續節點自動接管故障節點數據,以保證數據可靠性
高可用性
單個節點故障,不影響系統正常運行
可擴展性
可以對系統進行橫向和縱向擴展,橫向擴展可以向現有的服務環里面增加節點,縱向擴展可以增加服務環
誰使用TimeTunnel
目前TimeTunnel在淘寶廣泛的應用于日志收集、數據監控、廣告反饋、量子統計、數據庫同步等領域。

http://code.taobao.org/p/TimeTunnel/src/

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!