阿里巴巴mysql數據庫binlog的增量訂閱&消費組件

canal 是阿里巴巴mysql數據庫binlog的增量訂閱&消費組件。

名稱：canal [k?'n?l]
譯意： 水道/管道/溝渠
語言： 純java開發
定位： 基于數據庫增量日志解析，提供增量數據訂閱&消費，目前主要支持了mysql

早期，阿里巴巴B2B公司因為存在杭州和美國雙機房部署，存在跨機房同步的業務需求。不過早期的數據庫同步業務，主要是基于trigger的方式獲 取增量 變更，不過從2010年開始，阿里系公司開始逐步的嘗試基于數據庫的日志解析，獲取增量變更進行同步，由此衍生出了增量訂閱&消費的業務，從此開 啟了一段新紀元。ps. 目前內部使用的同步，已經支持mysql5.x和oracle部分版本的日志解析

基于日志增量訂閱&消費支持的業務：

1. 數據庫鏡像
2. 數據庫實時備份
3. 多級索引 (賣家和買家各自分庫索引)
4. search build
5. 業務cache刷新
6. 價格變化等重要業務消息

Canal 工作原理：

原理相對比較簡單：

1. canal模擬mysql slave的交互協議，偽裝自己為mysql slave，向mysql master發送dump協議
2. mysql master收到dump請求，開始推送binary log給slave(也就是canal)
3. canal解析binary log對象(原始為byte流)

項目主頁：http://www.baiduhome.net/lib/view/home/1361497048383