分布式分析引擎,Apache Kylin v1.0 發布
Apache Kylin 團隊非常高興宣布Apache Kylin v1.0 (incubating) 正式發布。Apache Kylin是一個分布式分析引擎,在Hadoop之上提供SQL接口及OLAP在線多維分析以支持超大規模數據集。
該版本帶來了更加穩定,可靠及更好管理的版本,解決了諸多Bug,增強及新功能等47個任務。
主要變化
Kylin核心增強
-
支持動態數據模型,在特定條件下對新增/刪除字段的數據模型不需要從頭構建
</li> -
升級Apache Calcite至1.3以修復多個Bug及支持新的SQL函數等
</li> -
增強了清理任務以確保Cube構建成功后在本地操作系統,HDFS/HBase等不遺留垃圾文件等
</li> -
添加配置項允許講Hive中間表輸出到指定數據庫
</li> -
增強HBase Corprocessor 以提升查詢性能
</li> -
Kylin 系統儀表盤(Beta)以展現使用情況,存儲及性能等指標
</li> </ul>主要的Bug修復
-
不能獲取原始記錄值,特別是使用非HDP的Hadoop版本
</li> -
前端緩存未及時刷新
</li> -
不再使用的Hive中間表會在Cube構建完成后自動刪除
</li> -
支持大Lookup表
</li> -
JDBC驅動,ODBC驅動及UI等Bug修復
</li> </ul>Zeppelin 整合
Apache Zeppelin是一個類似Spark Notebook的基于web的交互式數據分析工具,Apache Kylin 團隊為Zeppelin貢獻了Kylin Interpreter以讓Zeppelin用戶能夠在Notebook中與Kylin以標準SQL的方式進行交互式查詢。目前已經由Zeppelin社區合并至其主代碼中,有興趣的同學可以去Zeppelin網站下載來試用。
升級
我們推薦從v0.7.x甚至更早的版本升級到該版本,以獲得更好的性能,穩定性及更干凈的版本(大部分中間文件將被自動回收),并且與社區保持同步以獲得最新的功能及支持。
升級過程如有任何問題或疑問,請發送郵件至Apache Kylin郵件列表:dev@kylin.incubator.apache.org
感謝
本次版本發布中,除了來自eBay的核心開發團隊外,更有來自美團,明略數據,廣東移動等多位小伙伴的大力支持,并貢獻了多個Patch及新功能。其中來自美團的高大月和明略數據的黃樺已經成為Apache Kylin committer。
感謝每一位為Apache Kylin社區貢獻的朋友。
下載:http://kylin.incubator.apache.org/download/
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!
-