淘寶Hadoop作業平臺:宙斯Zeus
宙斯(zeus)是什么
宙斯是一個完整的Hadoop的作業平臺
從Hadoop任務的調試運行到生產任務的周期調度 宙斯支持任務的整個生命周期
從功能上來說,支持:
Hadoop MapReduce任務的調試運行
Hive任務的調試運行
Shell任務的運行
Hive元數據的可視化查詢與數據預覽
Hadoop任務的自動調度
完整的文檔管理
宙斯開源,不僅僅是開源技術,更是開源產品
開發中心,一個文檔管理,開發調試的環境,在任務上線前的主要工作區域
調度中心,生產任務的調度環境,當任務調試通過后,在此處配置調度信息進行生產調度
宙斯運行原理
使用指南
快速啟動(Quick Start):
1.設置配置項
在/web/src/main/filter/antx.properties 中對配置項進行設置
設置完成后,復制到${user.home}/antx.properties處
2.pom.xml本地jar地址修改
在/web/pom.xml中修改properties中的local.highcharts
因為此jar不在maven倉庫中,此jar已經在/web/libs/highcharts-1.4.0.jar
將systemPath路徑設置為絕對路徑
3.數據庫配置
zeus數據庫:/web/src/main/resources/persistence.xml中對數據庫進行配置
hive元數據庫:/web/src/main/resources/templates/hive-site.xml中對Hive metastore數據庫進行配置
4.打包
mvn package
打包在/web/target/exploded/zeus-web.war下
使用tomcat之類容器運行即可
以上步驟可以保證這個web項目正常啟動,如果需要正式上線此項目,還需要配置以下內容:
1.動態模板配置
宙斯系統中有很多模板是可以動態修改的,包括以下一些,建議在正式運行之前都配置好
首頁展示內容 啟動后參見頁面指南
首頁通知內容 啟動后參見頁面指南
hive 默認udf函數 com.taobao.zeus.jobs.sub.HiveJob實現TODO內容
2.登陸系統
宙斯不包含單獨的注冊系統
建議使用單點登陸來實現登陸
大致原理:
(1) web.xml添加一個filter,用來跳轉到單點登陸系統
(2) Spring容器中添加一個Bean,實現com.taobao.zeus.web.Login.Filter.SSOLogin接口
3.配置hadoop相關環境 默認的hadoop-site.xml和hive-site.xml在 /web/src/main/resources/templates下
修改相應的配置以對應相應的hadoop集群
4.超級管理員配置 在com.taobao.zeus.store.Super中進行配置