Cobar:基于MySQL的分布式數據庫服務中間件

jopen 11年前發布 | 27K 次閱讀 Cobar MySQL 數據庫服務器

        Cobar是阿里巴巴研發的關系型數據的分布式處理系統,是提供關系型數據庫(MySQL)分布式服務的中間件,該產品成功替代了原先基于Oracle的數據存儲方案,它可以讓傳統的數據庫得到良好的線性擴展,并看上去還是一個數據庫,對應用保持透明。

        產品在阿里巴巴穩定運行3年以上。

        接管了3000+個MySQL數據庫的schema。

        集群日處理在線SQL請求50億次以上。

        集群日處理在線數據流量TB級別以上。

        Cobar的核心功能:

        

Cobar:基于MySQL的分布式數據庫服務中間件

 

         分布式:

        Cobar的分布式主要是通過將表放入不同的庫來實現:

<br />

        Cobar支持將一張表水平拆分成多份分別放入不同的庫來實現表的水平拆分

<br />

        Cobar也支持將不同的表放入不同的庫

<br />

        多數情況下,用戶會將以上兩種方式混合使用

<br />

        要強調的是,Cobar不支持將一張表,例如test表拆分成test_1, test_2, test_3…..放在同一個庫中,必須將拆分后的表分別放入不同的庫來實現分布式。

<br />

         HA:

<br />

        在用戶配置了MySQL心跳的情況下,Cobar可以自動向后端連接的MySQL發送心跳,判斷MySQL運行狀況,一旦運行出現異常,Cobar可以自動切換到備機工作。需要強調的是:

<br />

        Cobar的主備切換有兩種觸發方式,一種是用戶手動觸發,一種是Cobar的心跳語句檢測到異常后自動觸發。那么,當心跳檢測到主機異常,切換到備 機,如果主機恢復了,需要用戶手動切回主機工作,Cobar不會在主機恢復時自動切換回主機,除非備機的心跳也返回異常。

<br />

        Cobar只檢查MySQL主備異常,不關心主備之間的數據同步,因此用戶需要在使用Cobar之前在MySQL主備上配置雙向同步,詳情可以參閱MySQL參考手冊。

<br />

         Cobar的功能約束

        不支持跨庫情況下的join、分頁、排序、子查詢操作。

<br />

        SET語句執行會被忽略,事務和字符集設置除外。

<br />

        分庫情況下,insert語句必須包含拆分字段列名。

<br />

        分庫情況下,update語句不能更新拆分字段的值。

<br />

        不支持SAVEPOINT操作。

<br />

        暫時只支持MySQL數據節點。

<br />

        使用JDBC時,不支持rewriteBatchedStatements=true參數設置(默認為false)。

<br />

        使用JDBC時,不支持useServerPrepStmts=true參數設置(默認為false)。

<br />

        使用JDBC時,BLOB, BINARY, VARBINARY字段不能使用setBlob()或setBinaryStream()方法設置參數。

<br />

         Cobar邏輯層次圖

         </div>

Cobar:基于MySQL的分布式數據庫服務中間件

 

     dataSource:數據源,表示一個具體的數據庫連接,與物理存在的數據庫schema一一對應。

        dataNode:數據節點,由主、備數據源,數據源的HA以及連接池共同組成,可以將一個dataNode理解為一個分庫。

        table:表,包括拆分表(如tb1,tb2)和非拆分表。

        tableRule:路由規則,用于判斷SQL語句被路由到具體哪些datanode執行。

        schema:cobar可以定義包含拆分表的schema(如schema1),也可以定義無拆分表的schema(如schema2)。

        Cobar支持的數據庫結構(schema)的層次關系具有較強的靈活性,用戶可以將表自由放置不同的datanode,也可將不同的 datasource放置在同一MySQL實例上。在實際應用中,需要通過配置文件(schema.xml)來定義我們需要的數據庫服務器和表的分布策 略。

        Cobar的實現原理

        Cobar的前、后端模塊都實現了MySQL協議;當接受到SQL請求時,會依次進行解釋(SQL Parser)和路由(SQL Router)工作,然后使用SQL Executor去后端模塊獲取數據集(后端模塊還負責心跳檢測功能);如果數據集來自多個數據源,Cobar則需要把數據集進行組合(Result Merge),最后返回響應。

        

Cobar:基于MySQL的分布式數據庫服務中間件

 

        Cobar采用了主流的Reactor設計模式來處理請求,并使用NIO進行底層的數據交換,這大大提升系統的負載能力。其 中,NIOAcceptor用于處理前端請求,NIOConnector則用于管理后端的連接,NIOProcessor用于管理多線程事件處 理,NIOReactor則用于完成底層的事件驅動機制,就是看起來和Mina和Netty的網絡模型比較相似。

        

Cobar:基于MySQL的分布式數據庫服務中間件

 

        參考文檔:https://github.com/alibaba/cobar

 

</span>

        本文來源:標點符

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!