Hadoop 數據管理平臺:Apache Falcon

jopen 9年前發布 | 24K 次閱讀 分布式/云計算/大數據 Apache Falcon

Apache Falcon 提供了一個用于治理和編排 Hadoop 內部和周邊數據流的數據處理框架。該框架為獲取和處理數據集、復制與保留數據集、重新定向位于非Hadoop擴展中的數據集、維護審核跟蹤與沿襲提供了關 鍵性的管控框架。Knox拓展了Hadoop的安全邊界,實現了與LDAP、用于證書管理的活動目錄等框架進行了充分整合,為跨Hadoop和所有相關項 目的授權提供了一個通用服務。

整體架構:

Hadoop 數據管理平臺:Apache Falcon

Feed Schedule flow

Hadoop 數據管理平臺:Apache Falcon

Process Schedule flow

Hadoop 數據管理平臺:Apache Falcon

項目主頁:http://www.baiduhome.net/lib/view/home/1421723815187

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!