測試hadoop集群是否安裝成功:網頁監控頁面和提交job運行
來自: http://my.oschina.net/cjun/blog/627681
一、查看集群的網頁監控狀態
1.查看hdfs集群狀態,也就是namenode的訪問地址
配置:hdfs-site.xml--dfs.namenode.http-address
默認訪問地址:http://namenode的ip:50070
2.如果配置了secondary namenode,那么可以查看secondary namenode的集群狀態
配置:hdfs-site.xml--dfs.namenode.secondary.http-address
默認訪問地址:http://namenode的ip:50090
3.查看yarn集群的狀態
配置:yarn-site.xml--yarn.resourcemanager.webapp.address
默認訪問地址:http://resource manager的ip:8088
二、提交job運行
1.hadoop2.6.0版本,提交mapreduce程序
mkdir input cd input echo hello world >> file1 echo hello hadoop >> file2 cd .. hdfs dfs -put input / cd $hadoop_home/share/hadoop/mapreduce yarn jar hadoop-mapreduce-examples-2.6.0.jar wordcount /input /ouput
如果執行過程沒報錯,而且hdfs的ouput的結果正確,那么集群就安裝成功了。
本文由用戶 RosCPG 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!