測試hadoop集群是否安裝成功:網頁監控頁面和提交job運行

RosCPG 9年前發布 | 21K 次閱讀 分布式/云計算/大數據

來自: http://my.oschina.net/cjun/blog/627681


一、查看集群的網頁監控狀態

1.查看hdfs集群狀態,也就是namenode的訪問地址

配置:hdfs-site.xml--dfs.namenode.http-address

默認訪問地址:http://namenode的ip:50070

2.如果配置了secondary namenode,那么可以查看secondary namenode的集群狀態

配置:hdfs-site.xml--dfs.namenode.secondary.http-address

默認訪問地址:http://namenode的ip:50090

3.查看yarn集群的狀態

配置:yarn-site.xml--yarn.resourcemanager.webapp.address

默認訪問地址:http://resource manager的ip:8088

二、提交job運行

1.hadoop2.6.0版本,提交mapreduce程序

mkdir input
cd input
echo hello world >> file1
echo hello hadoop >> file2
cd ..
hdfs dfs -put input /
cd $hadoop_home/share/hadoop/mapreduce
yarn jar hadoop-mapreduce-examples-2.6.0.jar wordcount /input /ouput

如果執行過程沒報錯,而且hdfs的ouput的結果正確,那么集群就安裝成功了。

 

 

 本文由用戶 RosCPG 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!