Manhattan:推ter的下一代分布式數據庫
作為世界上使用最廣泛的微博客服務,推ter 月活躍用戶如今已經達到了 2.183 億人,每天大約有 5 億條推文被發送,幾乎每秒鐘就產生了超過 6000 條推文。
在最初 推ter 還沒有這么大數據量的時候,該公司主要使用一些主流的技術來處理這些數據,比如開源數據庫 MySQL 和 Cassandra 等,但隨著用戶量的飛速擴增,這些技術逐漸顯示出了一些瓶頸,已經達不到 推ter 實時、低延遲的需求,推ter 工程師也需要花費大量的時間來擴展這些產品。因此,基于目前需求及長遠考慮,推ter 開發了自己的分布式數據庫系統——Manhattan。
推ter 表示,未來該系統可能會開源,該公司還在在官方博客中介紹了該系統的詳細信息。下面就來看看。
推ter 目前對于數據庫產品的需求:
- 可靠性
- 可用性
- 可擴展性
- 易操作性
- 低延遲
- 細粒度的可縮放性
- 開發人員的工作效率
推ter 在設計 Manhattan 時主要遵循的原則:
- 保持核心輕量和簡單
- 能夠更快地帶來價值
- 有限考慮多租戶、服務質量(QoS)和自助服務
- 專注于可預測性
- 存儲作為服務,而不僅僅是技術
下面來看看 Manhattan 的主要特性。Manhattan 共分為如下 4 層:
- 核心:這是存儲系統最關鍵的部分,需要高度穩定和強大,用來處理異常、一致性、路由、拓撲管理、數據中心區域內/跨區域復制、沖突解決等。核心中的關鍵組件完全可插拔。
- 存儲引擎:目前有 3 個內部存儲引擎——seadb、sstable、btree
- 存儲服務:在核心基礎上構建了更多傳統數據庫中包含的一些功能,比如:Hadoop 數據批量導入、強一致性服務、時間序列計數器服務
- 接口:用于實現客戶與存儲系統的交互
更多信息:Manhattan, our real-time, multi-tenant distributed database for 推ter scale
來自: www.iteye.com
<span id="shareA4" class="fl"> </span>
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!