分布式流處理框架:Tigon
Tigon 是一個開源的、實時的、低延遲、高吞吐量的流處理框架。基于 Apache Hadoop 和 Apache HBase. 構建。Tigon 嚴重依賴開源項目 Tephra 和 Apache Twill 提供緊密的集成到已有的 Hadoop/HBase 集群中。
Tigon 應用 這就是“流”,在邏輯上表示為有向無環圖(Directed Acyclic Graph),每個節點代表一個處理單元,這些處理單元就是 Flowlet,使用隊列來處理單元之間的數據流。
Flows 對于 Tigon 而言相當于 Twill 對于 YARN 容器。提供了運行時彈性的可伸縮性。
Flowlets 可以存儲在 HBase ,如果需要可使用 Tephra 的 ACID 屬性。
TigonSQL 是 Tigon 附帶的一個內存中的流處理庫。可利用它來攫取大量的數據流到 Hadoop/HBase 集群中,并執行類 CEP 的查詢語句,使用類似 SQL 的語言進行查詢。
Tigon 支持不同運行時和環境,你可以運行在單一計算機或者是分布式 Hadoop 集群中,提供直觀的命令行接口幫助用戶管理 Tigon 流。
要使用 Tigon 必須有:
-
JDK 6 or JDK 7 (用來運行 Tigon)
-
GCC
-
G++
-
Apache Maven 3.0+ (用來構建示例程序)
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!