淘寶Hadoop作業平臺:宙斯Zeus

jopen 11年前發布 | 49K 次閱讀 Hadoop 分布式/云計算/大數據

宙斯(zeus)是什么

宙斯是一個完整的Hadoop的作業平臺
從Hadoop任務的調試運行到生產任務的周期調度 宙斯支持任務的整個生命周期

從功能上來說,支持:
Hadoop MapReduce任務的調試運行
Hive任務的調試運行
Shell任務的運行
Hive元數據的可視化查詢與數據預覽
Hadoop任務的自動調度
完整的文檔管理

宙斯開源,不僅僅是開源技術,更是開源產品

開發中心,一個文檔管理,開發調試的環境,在任務上線前的主要工作區域
 淘寶Hadoop作業平臺:宙斯Zeus 調度中心,生產任務的調度環境,當任務調試通過后,在此處配置調度信息進行生產調度
 淘寶Hadoop作業平臺:宙斯Zeus

宙斯運行原理

 淘寶Hadoop作業平臺:宙斯Zeus

 淘寶Hadoop作業平臺:宙斯Zeus

 淘寶Hadoop作業平臺:宙斯Zeus

 淘寶Hadoop作業平臺:宙斯Zeus

使用指南

快速啟動(Quick Start):
1.設置配置項
在/web/src/main/filter/antx.properties 中對配置項進行設置
設置完成后,復制到${user.home}/antx.properties處
2.pom.xml本地jar地址修改
在/web/pom.xml中修改properties中的local.highcharts
因為此jar不在maven倉庫中,此jar已經在/web/libs/highcharts-1.4.0.jar
將systemPath路徑設置為絕對路徑
3.數據庫配置
zeus數據庫:/web/src/main/resources/persistence.xml中對數據庫進行配置
hive元數據庫:/web/src/main/resources/templates/hive-site.xml中對Hive metastore數據庫進行配置
4.打包
mvn package
打包在/web/target/exploded/zeus-web.war下
使用tomcat之類容器運行即可

以上步驟可以保證這個web項目正常啟動,如果需要正式上線此項目,還需要配置以下內容:
1.動態模板配置
宙斯系統中有很多模板是可以動態修改的,包括以下一些,建議在正式運行之前都配置好
首頁展示內容 啟動后參見頁面指南
首頁通知內容 啟動后參見頁面指南
hive 默認udf函數 com.taobao.zeus.jobs.sub.HiveJob實現TODO內容

2.登陸系統
宙斯不包含單獨的注冊系統
建議使用單點登陸來實現登陸
大致原理:
(1) web.xml添加一個filter,用來跳轉到單點登陸系統
(2) Spring容器中添加一個Bean,實現com.taobao.zeus.web.Login.Filter.SSOLogin接口

3.配置hadoop相關環境 默認的hadoop-site.xml和hive-site.xml在 /web/src/main/resources/templates下
修改相應的配置以對應相應的hadoop集群

4.超級管理員配置 在com.taobao.zeus.store.Super中進行配置

項目主頁:http://www.baiduhome.net/lib/view/home/1367589632089

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!