Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

jopen 9年前發布 | 292K 次閱讀 Hadoop 分布式/云計算/大數據

一.概述

1.1 hadoop1.0的單點問題

Hadoop中的NameNode好比是人的心臟，非常重要，絕對不可以停止工作。在hadoop1時代，只有一個NameNode。如果該NameNode數據丟失或者不能工作，那么整個集群就不能恢復了。這是hadoop1中的單點問題，也是hadoop1不可靠的表現。如下圖所示，便是hadoop1.0的架構圖；

1.2 hadoop2.0對hadoop1.0單點問題的解決

為了解決hadoop1中的單點問題，在hadoop2中新的NameNode不再是只有一個，可以有多個（目前只支持2個）。每一個都有相同的職能。一個是active狀態的，一個是standby狀態的。當集群運行時，只有active狀態的NameNode是正常工作的，standby狀態的NameNode是處于待命狀態的，時刻同步active狀態NameNode的數據。一旦active狀態的NameNode不能工作，通過手工或者自動切換，standby狀態的NameNode就可以轉變為active狀態的，就可以繼續工作了。這就是高可靠。

1.3 使用JournalNode實現NameNode(Active和Standby)數據的共享

Hadoop2.0中，2個NameNode的數據其實是實時共享的。新HDFS采用了一種共享機制，Quorum Journal Node（JournalNode）集群或者Nnetwork File System（NFS）進行共享。NFS是操作系統層面的，JournalNode是hadoop層面的，我們這里使用JournalNode集群進行數據共享（這也是主流的做法）。如下圖所示，便是JournalNode的架構圖。

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)
兩個NameNode為了數據同步，會通過一組稱作JournalNodes的獨立進程進行相互通信。當active狀態的NameNode的命名空間有任何修改時，會告知大部分的JournalNodes進程。standby狀態的NameNode有能力讀取JNs中的變更信息，并且一直監控edit log的變化，把變化應用于自己的命名空間。standby可以確保在集群出錯時，命名空間狀態已經完全同步了

1.4 NameNode之間的故障切換

對于HA集群而言，確保同一時刻只有一個NameNode處于active狀態是至關重要的。否則，兩個NameNode的數據狀態就會產生分歧，可能丟失數據，或者產生錯誤的結果。為了保證這點，這就需要利用使用ZooKeeper了。首先HDFS集群中的兩個NameNode都在ZooKeeper中注冊，當active狀態的NameNode出故障時，ZooKeeper能檢測到這種情況，它就會自動把standby狀態的NameNode切換為active狀態。

二.Hadoop（HA）集群的搭建

2.1 配置詳細

主機名	IP	NameNode	DataNode	Year	Zookeeper	JournalNode
mast1	192.168.177.131	是	是	否	是	是
mast2	192.168.177.132	是	是	否	是	是
mast3	192.168.177.133	否	是	是	是	是

2.2 安裝jdk

（省略）安裝jdk和配置環境變量

2.2 SSH免登錄

(省略)，參考：http://eksliang.iteye.com/blog/2187265

2.4 Zookeeper集群搭建

（省略），參考，http://eksliang.iteye.com/blog/2107002，這是我的solr集群部署，也是使用zookeeper進行管理，zookeeper這里步驟跟操作一模一樣，最后我的zoo.cfg文件如下所示

[hadoop@Mast1 conf]$ cat zoo.cfg 
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/home/hadoop/zookeeper/data
dataLogDir=/home/hadoop/zookeeper/datalog
# the port at which the clients will connect
clientPort=2181
server.1=mast1:2888:3888  
server.2=mast2:2888:3888  
server.3=mast3:2888:3888

2.5配置Hadoop配置文件

先配置mast1這臺機器，配置后了后，將配置環境，復制到mast2、mast3上面即可！

hadoop2.0的配置存放在~/etc/hadoop目錄下面，

core.xml

<configuration>
 <!-- 指定hdfs的nameservice為ns -->
 <property>    
      <name>fs.defaultFS</name>    
      <value>hdfs://ns</value>    
 </property>
 <!--指定hadoop數據臨時存放目錄-->
 <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/workspace/hdfs/temp</value>
 </property>   

 <property>    
      <name>io.file.buffer.size</name>    
      <value>4096</value>    
 </property>
 <!--指定zookeeper地址-->
 <property>
      <name>ha.zookeeper.quorum</name>
      <value>mast1:2181,mast2:2181,mast3:2181</value>
 </property>
 </configuration>

hdfs-site.xml

<configuration>
    <!--指定hdfs的nameservice為ns，需要和core-site.xml中的保持一致 -->    
    <property>    
        <name>dfs.nameservices</name>    
        <value>ns</value>    
    </property>  
    <!-- ns下面有兩個NameNode，分別是nn1，nn2 -->
    <property>
       <name>dfs.ha.namenodes.ns</name>
       <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通信地址 -->
    <property>
       <name>dfs.namenode.rpc-address.ns.nn1</name>
       <value>mast1:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns.nn1</name>
        <value>mast1:50070</value>
    </property>
    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns.nn2</name>
        <value>mast2:9000</value>
    </property>
    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns.nn2</name>
        <value>mast2:50070</value>
    </property>
    <!-- 指定NameNode的元數據在JournalNode上的存放位置 -->
    <property>
         <name>dfs.namenode.shared.edits.dir</name>
         <value>qjournal://mast1:8485;mast2:8485;mast3:8485/ns</value>
    </property>
    <!-- 指定JournalNode在本地磁盤存放數據的位置 -->
    <property>
          <name>dfs.journalnode.edits.dir</name>
          <value>/home/hadoop/workspace/journal</value>
    </property>
    <!-- 開啟NameNode故障時自動切換 -->
    <property>
          <name>dfs.ha.automatic-failover.enabled</name>
          <value>true</value>
    </property>
    <!-- 配置失敗自動切換實現方式 -->
    <property>
            <name>dfs.client.failover.proxy.provider.ns</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔離機制 -->
    <property>
             <name>dfs.ha.fencing.methods</name>
             <value>sshfence</value>
    </property>
    <!-- 使用隔離機制時需要ssh免登陸 -->
    <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/home/hadoop/.ssh/id_rsa</value>
    </property>

    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:///home/hadoop/workspace/hdfs/name</value>    
    </property>    

    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:///home/hadoop/workspace/hdfs/data</value>    
    </property>    

    <property>    
       <name>dfs.replication</name>    
       <value>2</value>    
    </property>   
    <!-- 在NN和DN上開啟WebHDFS (REST API)功能,不是必須 -->                                                                    
    <property>    
       <name>dfs.webhdfs.enabled</name>    
       <value>true</value>    
    </property>    
</configuration>

mapred-site.xml

<configuration>
 <property>    
        <name>mapreduce.framework.name</name>    
        <value>yarn</value>    
 </property>    
</configuration>

yarn-site.xml

<configuration>
    <!-- 指定nodemanager啟動時加載server的方式為shuffle server -->
    <property>    
            <name>yarn.nodemanager.aux-services</name>    
            <value>mapreduce_shuffle</value>    
     </property>  
     <!-- 指定resourcemanager地址 -->
     <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>mast3</value>
      </property> 
</configuration>

slaves

[hadoop@Mast1 hadoop]$ cat slaves
mast1
mast2
mast3

修改JAVA_HOME

分別在文件hadoop-env.sh和yarn-env.sh中添加JAVA_HOME配置

#export JAVA_HOME=${JAVA_HOME} --原來   
export JAVA_HOME=/usr/local/java/jdk1.7.0_67

雖然默認配置了${JAVA_HOME}的環境變量，但是hadoop啟動時，會提示找不到，沒有辦法，指定絕對路徑，這個是必須的。

配置hadoop的環境變量，參考我的配置

[hadoop@Mast1 hadoop]$ vim ~/.bash_profile  
export HADOOP_HOME="/home/hadoop/hadoop-2.5.2"  
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH  
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native  
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

將配置復制到mast2、mast3

scp -r ~/.bash_profile hadoop@mast2:/home/hadoop/  
scp -r ~/.bash_profile hadoop@mast3:/home/hadoop/  
scp -r $HADOOP_HOME/etc/hadoop hadoop@mast2:/home/hadoop/hadoop-2.5.2/etc/  
scp -r $HADOOP_HOME/etc/hadoop hadoop@mast3:/home/hadoop/hadoop-2.5.2/etc/

至此Hadoop的配置完畢，接下來就是啟動集群了

三.集群的啟動

3.1 啟動zookeeper集群

分別在mast1、mast2、mast3上執行如下命令啟動zookeeper集群；

[hadoop@Mast1 bin]$ sh zkServer.sh start

驗證集群zookeeper集群是否啟動，分別在mast1、mast2、mast3上執行如下命令驗證zookeeper集群是否啟動，集群啟動成功，有兩個follower節點跟一個leader節點；

[hadoop@Mast1 bin]$ sh zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper/zookeeper-3.3.6/bin/../conf/zoo.cfg
Mode: follower

3.2 啟動journalnode集群

在mast1上執行如下命令完成JournalNode集群的啟動

[hadoop@Mast1 hadoop-2.5.2]$ sbin/hadoop-daemons.sh start journalnode

執行jps命令，可以查看到JournalNode的java進程pid

3.3 格式化zkfc,讓在zookeeper中生成ha節點

在mast1上執行如下命令，完成格式化

hdfs zkfc –formatZK

（注意，這條命令最好手動輸入，直接copy執行有可能會有問題，當時部署時我是蛋疼了許久）

格式成功后，查看zookeeper中可以看到

[zk: localhost:2181(CONNECTED) 1] ls /hadoop-ha
[ns]

3.4 格式化hdfs

hadoop namenode –format

（注意，這條命令最好手動輸入，直接copy執行有可能會有問題）

3.5 啟動NameNode

首先在mast1上啟動active節點，在mast1上執行如下命令

[hadoop@Mast1 hadoop-2.5.2]$ sbin/hadoop-daemon.sh start namenode

在mast2上同步namenode的數據，同時啟動standby的namenod,命令如下

#把NameNode的數據同步到mast2上
[hadoop@Mast2 hadoop-2.5.2]$ hdfs namenode –bootstrapStandby
#啟動mast2上的namenode作為standby
[hadoop@Mast2 hadoop-2.5.2]$ sbin/hadoop-daemon.sh start namenode

3.6 啟動啟動datanode

在mast1上執行如下命令

[hadoop@Mast1 hadoop-2.5.2]$ sbin/hadoop-daemons.sh start datanode

3.7 啟動year

在作為資源管理器上的機器上啟動，我這里是mast3,執行如下命令完成year的啟動

[hadoop@Mast3 hadoop-2.5.2]$ sbin/start-yarn.sh

3.8 啟動ZKFC

在mast1上執行如下命令，完成ZKFC的啟動

[hadoop@Mast1 hadoop-2.5.2]$ sbin/hadoop-daemons.sh start zkfc

全部啟動完后分別在mast1,mast2,mast3上執行jps是可以看到下面這些進程的

#mast1上的java PID進程
[hadoop@Mast1 hadoop-2.5.2]$ jps
2837 NodeManager
3054 DFSZKFailoverController
4309 Jps
2692 DataNode
2173 QuorumPeerMain
2551 NameNode
2288 JournalNode
#mast2上的java PID進程
[hadoop@Mast2 ~]$ jps
2869 DFSZKFailoverController
2353 DataNode
2235 JournalNode
4522 Jps
2713 NodeManager
2591 NameNode
2168 QuorumPeerMain
#mast3上的java PID進程
[hadoop@Mast3 ~]$ jps
2167 QuorumPeerMain
2337 JournalNode
3506 Jps
2457 DataNode
2694 NodeManager
2590 ResourceManager

四.測試HA的高可用性

啟動后mast1的namenode和mast2的namenode如下所示：

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

此時在mast1上執行如下命令關閉mast1上的namenode

[hadoop@Mast1 hadoop-2.5.2]$ sbin/hadoop-daemon.sh stop namenode

再次查看mast1上的namenode，發現自動切換為active了！證據如下：

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

來自：http://www.iteye.com/news/30739

本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。

轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。

本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！

本文地址：http://www.baiduhome.net/lib/view/open1436855630959.html

Hadoop 分布式/云計算/大數據

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

一.概述

1.1 hadoop1.0的單點問題

1.2 hadoop2.0對hadoop1.0單點問題的解決

1.3 使用JournalNode實現NameNode(Active和Standby)數據的共享

1.4 NameNode之間的故障切換

二.Hadoop（HA）集群的搭建

2.1 配置詳細

2.2 安裝jdk

2.2 SSH免登錄

2.4 Zookeeper集群搭建

2.5配置Hadoop配置文件

三.集群的啟動

3.1 啟動zookeeper集群

3.2 啟動journalnode集群

3.3 格式化zkfc,讓在zookeeper中生成ha節點

3.4 格式化hdfs

3.5 啟動NameNode

3.6 啟動啟動datanode

3.7 啟動year

3.8 啟動ZKFC

四.測試HA的高可用性

相關經驗

相關資訊

相關文檔

目錄