分布式分析引擎,Apache Kylin v1.0 發布

jopen 9年前發布 | 16K 次閱讀 Apache Kylin

Apache Kylin 團隊非常高興宣布Apache Kylin v1.0 (incubating) 正式發布。Apache Kylin是一個分布式分析引擎,在Hadoop之上提供SQL接口及OLAP在線多維分析以支持超大規模數據集。

該版本帶來了更加穩定,可靠及更好管理的版本,解決了諸多Bug,增強及新功能等47個任務。

主要變化

Kylin核心增強

  • 支持動態數據模型,在特定條件下對新增/刪除字段的數據模型不需要從頭構建

    </li>

  • 升級Apache Calcite至1.3以修復多個Bug及支持新的SQL函數等

    </li>

  • 增強了清理任務以確保Cube構建成功后在本地操作系統,HDFS/HBase等不遺留垃圾文件等

    </li>

  • 添加配置項允許講Hive中間表輸出到指定數據庫

    </li>

  • 增強HBase Corprocessor 以提升查詢性能

    </li>

  • Kylin 系統儀表盤(Beta)以展現使用情況,存儲及性能等指標

    </li> </ul>

    主要的Bug修復

    • 不能獲取原始記錄值,特別是使用非HDP的Hadoop版本

      </li>

    • 前端緩存未及時刷新

      </li>

    • 不再使用的Hive中間表會在Cube構建完成后自動刪除

      </li>

    • 支持大Lookup表

      </li>

    • JDBC驅動,ODBC驅動及UI等Bug修復

      </li> </ul>

      Zeppelin 整合

      Apache Zeppelin是一個類似Spark Notebook的基于web的交互式數據分析工具,Apache Kylin 團隊為Zeppelin貢獻了Kylin Interpreter以讓Zeppelin用戶能夠在Notebook中與Kylin以標準SQL的方式進行交互式查詢。目前已經由Zeppelin社區合并至其主代碼中,有興趣的同學可以去Zeppelin網站下載來試用。

      升級

      我們推薦從v0.7.x甚至更早的版本升級到該版本,以獲得更好的性能,穩定性及更干凈的版本(大部分中間文件將被自動回收),并且與社區保持同步以獲得最新的功能及支持。

      升級過程如有任何問題或疑問,請發送郵件至Apache Kylin郵件列表:dev@kylin.incubator.apache.org

      感謝

      本次版本發布中,除了來自eBay的核心開發團隊外,更有來自美團,明略數據,廣東移動等多位小伙伴的大力支持,并貢獻了多個Patch及新功能。其中來自美團的高大月和明略數據的黃樺已經成為Apache Kylin committer。

      感謝每一位為Apache Kylin社區貢獻的朋友。


      下載:http://kylin.incubator.apache.org/download/

       本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
       轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
       本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!