分布式消息中間件,Metamorphosis 1.4.2 發布

jopen 12年前發布 | 9K 次閱讀 Metamorphosis

Metamorphosis是一個高性能、高可用、可擴展的分布式消息中間件,思路起源于LinkedIn的Kafka,但并不是Kafka的一個 Copy。具有消息存儲順序寫、吞吐量大和支持本地和XA事務等特性,適用于大吞吐量、順序消息、廣播和日志數據傳輸等場景,目前在淘寶和支付寶有著廣泛 的應用。

Metamorphosis 今天發布了1.4.2版本,新功能如下:

  • 新的客戶端API用來獲取topic的分區列表
  • 新的客戶端API用來獲取Broker的統計信息
  • 異步復制的Slave可以自動獲取Master的配置變更,例如Master在配置文件中新增或者刪除了topic并順利reload熱加載成功后,slave可自動復制或者移除變更的topic,無需重啟。
  • 新的統計項目,可以通過'stats config'協議獲取Broker的配置文件。

其他改進如下:

  • 添加了大量的使用和原理文檔,參見Wiki
  • 合并tools和server-wrapper工程,提供統一的腳本來管理Broker,管理Broker的工作變得非常容易,全部工作都可以通過metaServer.sh的腳本來執行。同時提供了bat啟動腳本,用于在windows上啟動Broker做測試。
  • 添加meta-python項目,一個python的客戶端,暫時僅支持發送消息功能。
  • 其他小改進,如統計信息的優化、構建工具的整合等。

更詳細的發行日志:RelaseNotes


Metamorphosis (MetaQ) 是一個高性能、高可用、可擴展的分布式消息中間件,類似于LinkedIn的Kafka,具有消息存儲順序寫、吞吐量大和支持本地和XA事務等特性,適用于大吞吐量、順序消息、廣播和日志數據傳輸等場景,在淘寶和支付寶有著廣泛的應用,現已開源。

總體結構:

分布式消息中間件,Metamorphosis 1.4.2 發布

內部結構:

分布式消息中間件,Metamorphosis 1.4.2 發布

主要特點:

 

  • 生產者、服務器和消費者都可分布
  • 消息存儲順序寫
  • 性能極高,吞吐量大
  • 支持消息順序
  • 支持本地和XA事務
  • 客戶端pull,隨機讀,利用sendfile系統調用,zero-copy ,批量拉數據
  • 支持消費端事務
  • 支持消息廣播模式
  • 支持異步發送消息
  • 支持http協議
  • 支持消息重試和recover
  • 數據遷移、擴容對用戶透明
  • 消費狀態保存在客戶端
  • 支持同步和異步復制兩種HA
  • 支持group commit
  • 更多……


本文轉載自: http://www.iteye.com/news/25026

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!