Manhattan:推ter的下一代分布式數據庫

jopen 10年前發布 | 7K 次閱讀 Manhattan

        作為世界上使用最廣泛的微博客服務,推ter 月活躍用戶如今已經達到了 2.183 億人,每天大約有 5 億條推文被發送,幾乎每秒鐘就產生了超過 6000 條推文。

        在最初 推ter 還沒有這么大數據量的時候,該公司主要使用一些主流的技術來處理這些數據,比如開源數據庫 MySQL 和 Cassandra 等,但隨著用戶量的飛速擴增,這些技術逐漸顯示出了一些瓶頸,已經達不到 推ter 實時、低延遲的需求,推ter 工程師也需要花費大量的時間來擴展這些產品。因此,基于目前需求及長遠考慮,推ter 開發了自己的分布式數據庫系統——Manhattan。

        推ter 表示,未來該系統可能會開源,該公司還在在官方博客中介紹了該系統的詳細信息。下面就來看看。

        推ter 目前對于數據庫產品的需求:

  • 可靠性
  • 可用性
  • 可擴展性
  • 易操作性
  • 低延遲
  • 細粒度的可縮放性
  • 開發人員的工作效率

推ter 在設計 Manhattan 時主要遵循的原則:

  • 保持核心輕量和簡單
  • 能夠更快地帶來價值
  • 有限考慮多租戶、服務質量(QoS)和自助服務
  • 專注于可預測性
  • 存儲作為服務,而不僅僅是技術

下面來看看 Manhattan 的主要特性。Manhattan 共分為如下 4 層:

Manhattan:推ter的下一代分布式數據庫

  • 核心:這是存儲系統最關鍵的部分,需要高度穩定和強大,用來處理異常、一致性、路由、拓撲管理、數據中心區域內/跨區域復制、沖突解決等。核心中的關鍵組件完全可插拔。
  • 存儲引擎:目前有 3 個內部存儲引擎——seadb、sstable、btree
  • 存儲服務:在核心基礎上構建了更多傳統數據庫中包含的一些功能,比如:Hadoop 數據批量導入、強一致性服務、時間序列計數器服務
  • 接口:用于實現客戶與存儲系統的交互

Manhattan:推ter的下一代分布式數據庫

        更多信息:Manhattan, our real-time, multi-tenant distributed database for 推ter scale

來自: www.iteye.com
                    <span id="shareA4" class="fl">                          </span>
 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!