在Ubuntu上安裝集群模式的Hadoop

在安裝好單機模式的hadoop之后，我們就可以著手來在集群模式下安裝hadoop了。在安裝了單機版hadoop的機器上將hadoop轉成集群模式是很容易的。首先來設置網絡。

網絡

首先，我們需要在同一個網絡的幾臺機器（這里用的是192.168.0.0/24網段）。然后為了操作方便，我們需要給它們配上域名，直接在 /etc/hosts 文件里面加入以下內容。

192.168.0.1    master
192.168.0.2    slave

配置SSH

為了能讓hadoop運行，需要讓master機器能夠登錄到slave機器上，這就要配置SSH密鑰。跟配置單機模式的時候相似，把 ~/.ssh/authorized_key 文件拷貝slave機器的 ~/.ssh/ 路徑下。在完成后試試是否能夠用運行hadoop的帳號登錄slave機器，能的話這一步就算完成了。

安裝hadoop

master機器上的配置項

HADOOP_HOME/conf/master 這個文件定義了在多機器模式下在那臺機器上運行 namenode ， secondary namenode和jobtracker。我們可以通過運行 HADOOP_HOME/bin/start-all.sh 來啟動多機器模式的hadoop。在master機器上，我們需要在 HADOOP_HOME/conf/master添加以下內容。

master

HADOOP_HOME/conf/slave  這個文件定義在多機器模式的hadoop里面在那些機器上運行datanode和tasktracker。需要在這個文件里面添加一下配置。

master
slave

所有機器上都需要的配置項

在 HADOOP_HOME/conf/core-site.xml 文件里面添加一下配置

<property>
  <name>fs.default.name</name>
  <value>hdfs://master:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>

在HADOOP_HOME/conf/mapred-site.xml 文件里面添加以下配置：

<property>
  <name>mapred.job.tracker</name>
  <value>master:54311</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>

在 HADOOP_HOME/conf/hdfs-site.xml 文件添加以下配置：

<property>
  <name>dfs.replication</name>
  <value>2</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>

接下來把HDFS文件系統來格式化一下

$ /usr/local/hadoop$ bin/hadoop namenode -format

然后運行 /usr/local/hasoop/bin/start-all.sh ，如果執行成功，多機器模式的hadoop就安裝完成了。

來自：http://my.oschina.net/fwgisbug/blog/137196