Hadoop MapReduce下一代 - 命令行Mini集群

目的：

使用命令行接口運行Mini集群，用戶可以使用一個簡單的命令啟動或者停止一個單節點的Hadoop集群，不需要設置任何環境變量和管理配置文件。這個CLI Mini集群將會啟動Yarn/MapReduce和HDFS。

這個案例適合想要快速體驗一個真實的Hadoop集群或者測試一個沒有java程序的功能。

Hadoop Tarbar

你應該盡可能的使用Hadoop tarball的release版本，當然，你也可以從源代碼創建一個tarball：

$mvn clean install -DskipTests
$mvn package -pdist -Dtar -DskipTests -Dmaven.javadoc.skip

tarball竟可能的安裝在hadoop-dist/target/目錄。

運行Mini集群：

從root目錄解壓出tarball，你可以使用下面的命令啟動CLI Mini集群：

$ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.4.1-tests.jar minicluster -rmport RM_PORT -jhsport JHS_PORT

在上邊命令行的例子中，RM_PORT和JHS_PORT應該被用戶選擇的端口號替換。如果沒有被指定，將會隨機分配端口給用戶。

$ -D <property=value>    Options to pass into configuration object
$ -datanodes <arg>       多少datanode節點被啟動 (默認為1)
$ -format                格式化DFS(默認為false)
$ -help                  打印幫助信息.
$ -jhsport <arg>         (default 0--we choose)
$ -namenode <arg>        NameNode的URL (默認是DFS集群或者一個臨時目錄)
$ -nnport <arg>          NameNode port (default 0--we choose)
$ -nodemanagers <arg>    多少個NameNodes被啟動 (default 1)
$ -nodfs                 不允許啟動一個 mini DFS 集群
$ -nomr                  Don't start a mini MR cluster
$ -rmport <arg>          ResourceManager 端口(default 0--we choose)
$ -writeConfig <path>    保存配置到指定的文件（path）.
$ -writeDetails <path>   以json格式寫入基本信息到指定的目錄（path）.

用戶可以通過-help參數命令顯示了有效列表的參數使用方法。