百度開源OLAP引擎Palo,高可用的MPP數據倉庫

jopen 7年前發布 | 16K 次閱讀 Palo 百度 開源

百度開源OLAP引擎Palo,高可用的MPP數據倉庫

百度昨日正式開源 Palo ,這是一個百度自研的基于 MPP 的交互式 SQL 數據倉庫,主要用于解決報表和多維分析。

Palo 主要集成了 Google Mesa 和 Cloudera Impala 技術。和其他流行的 SQL-on-Hadoop 系統不同的是,Palo 設計為單一緊密耦合系統,不依賴其他系統。

Palo 不僅提供高并發低延遲的查詢性能,而且提供了高吞吐量的 ad-hoc 分析查詢。它還提供批量數據加載,以及近乎實時的小批量數據加載。

Palo 具有高可用性、可靠性、容錯性和可擴展性,其主要特點是簡單(開發、部署和使用)和滿足單一系統中的許多數據服務需求。

Palo 的實現包括兩個守護進程:前端(FE)和后端(BE)。下圖給出了架構和用法的概述:

百度開源OLAP引擎Palo,高可用的MPP數據倉庫

百度開源OLAP引擎Palo,高可用的MPP數據倉庫

Palo 的名字正好是 OLAP 倒過來寫,意思是“玩轉 OLAP ”,目前在百度內部有著廣泛應用,如百度鳳巢、百度統計、百度糯米等。

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!