分布式流處理框架:Tigon

jopen 10年前發布 | 16K 次閱讀 Tigon 分布式/云計算/大數據

Tigon 是一個開源的、實時的、低延遲、高吞吐量的流處理框架。基于  Apache HadoopApache HBase. 構建。Tigon 嚴重依賴開源項目 TephraApache Twill 提供緊密的集成到已有的 Hadoop/HBase 集群中。
logo_tigon.png

Tigon 應用 這就是“流”,在邏輯上表示為有向無環圖(Directed Acyclic Graph),每個節點代表一個處理單元,這些處理單元就是 Flowlet,使用隊列來處理單元之間的數據流。

Flows 對于 Tigon 而言相當于 Twill 對于 YARN 容器。提供了運行時彈性的可伸縮性。

Flowlets 可以存儲在 HBase ,如果需要可使用 Tephra 的 ACID 屬性。

TigonSQL 是 Tigon 附帶的一個內存中的流處理庫。可利用它來攫取大量的數據流到 Hadoop/HBase 集群中,并執行類 CEP 的查詢語句,使用類似 SQL 的語言進行查詢。

Tigon 支持不同運行時和環境,你可以運行在單一計算機或者是分布式 Hadoop 集群中,提供直觀的命令行接口幫助用戶管理 Tigon 流。

要使用 Tigon 必須有:

  1. JDK 6 or JDK 7 (用來運行 Tigon)

  2. GCC

  3. G++

  4. Apache Maven 3.0+ (用來構建示例程序)

項目主頁:http://www.baiduhome.net/lib/view/home/1418693700730

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!