Hadoop2.2.0分布式安裝

jopen 10年前發布 | 11K 次閱讀 Hadoop2 分布式/云計算/大數據


確保ssh能無密碼登錄，jdk已安裝，環境變量配置好（具體可參加相應教程）

1、下載hadoop-2.2.0.tar.gz，解壓tar -xzvf  hadoop-2.2.0.tar.gz

2、進入hadoop目錄下創建tmp目錄和dfs/data目錄、dfs/name目錄

3、進入配置文件存放目錄${HADOOP_HOME}/etc/hadoop

3-1，修改hadoop-env.sh和yarn-env.sh中JAVA_HOME使之與系統一致

3-2，core-site.xml內容如下：

    <configuration>  
    <property>  
      <name>fs.defaultFS</name>  
      <value>hdfs://master:9101</value>  
    <description></description>  
    </property>  
    <property>  
      <name>hadoop.tmp.dir</name>  
      <value>/root/hadoop-2.2.0/tmp</value>  
    <description>tmp臨時目錄</description>  
    </property>  
    <property>  
      <name>io.native.lib.available</name>  
      <value>true</value>  
      <description>是否啟用本地native庫</description>  
    </property>
3-3，hdfs-site.xml內容如下： 

    <configuration>  
    <property>  
      <name>dfs.namenode.name.dir</name>  
      <value>/root/hadoop-2.2.0/dfs/name</value>  
    </property>  
    <property>  
      <name>dfs.datanode.data.dir</name>  
      <value>/root/hadoop-2.2.0/dfs/data</value>  
    </property>  
    <property>  
      <name>dfs.secondary.http.address</name>  
      <value>master:9001</value>  
    </property>  
    <property>  
    <name>dfs.webhdfs.enabled</name>  
    <value>true</value>  
    </property>  
    </configuration>
 3-4、mapred-site.xml內容如下：
    <configuration>  
        <property>  
            <name>mapreduce.framework.name</name>  
            <value>yarn</value>  
        </property>  
    </configuration>

 2-5、yarn-site.xml內容如下：
<configuration>  
<!-- Site specific YARN configuration properties -->  
<property>  
<name>yarn.resourcemanager.address</name>  
<value>master:8032</value>  
</property>  
<property>  
<name>yarn.resourcemanager.scheduler.address</name>  
<value>master:8030</value>  
</property>  
<property>  
<name>yarn.resourcemanager.webapp.address</name>  
<value>master:8088</value>  
</property>  
<property>  
<name>yarn.resourcemanager.resource-tracker.address</name>  
<value>master:8031</value>  
</property>  
<property>  
<name>yarn.nodemanager.aux-services</name>  
<value>mapreduce_shuffle</value>  
</property>  
</configuration>
                                                                              

3-5、根據實際情況修改masters文件slaves文件

4、利用scp將整個hadoop文件夾同步到各個節點

5、namenode格式化
hadoop namenode -format 或hdfs namenode -format

6、啟動

start-dfs.sh && start-yarn.sh 或start-all.sh

啟動完后在master上通過jps可查看到進程ResourceManager、SecondaryNameNode、NameNode；

在slave上可查看到NodeManager、DataNode。

此外，也可在web界面上查看，地址http://master:8088/cluster

若發現進程啟動失敗，則進入出錯節點的${HADOOP_HOME}/logs目錄下查看相應*.log文件

 本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！