【hadoop 2.7.1 】動態添加節點、刪除節點

SharonHarde 8年前發布 | 11K 次閱讀 分布式/云計算/大數據

來自： http://my.oschina.net/u/204498/blog/611104


hftest0001

hftest0002

hftest0003

 

一、動態添加節點

hftest0001 (master node )

[hadoop@hftest0001 hadoop]$ pwd
/home/hadoop/hadoop-2.7.1/etc/hadoop

[hadoop@hftest0001 hadoop]$ cat masters 
hftest0001.webex.com
[hadoop@hftest0001 hadoop]$ cat slaves 
hftest0002.webex.com

[hadoop@hftest0001 hadoop]$ cat hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
...
...
<configuration>

hftest0002 (data node)

[hadoop@hftest0002 hadoop]$ pwd
/home/hadoop/hadoop-2.7.1/etc/hadoop

[hadoop@hftest0002 hadoop]$ cat masters 
hftest0001.webex.com
[hadoop@hftest0002 hadoop]$ cat slaves 
hftest0002.webex.com

[hadoop@hftest0002 hadoop]$ cat hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
...
...
<configuration>
[hadoop@hftest0001 hadoop-2.7.1]$ ./bin/hdfs dfs -ls /tmp
Found 1 items
-rw-r--r--   1 hadoop supergroup       1366 2016-01-28 13:48 /tmp/README.txt  ===> replication 1

 

準備：

創建新節點hftest0003

修改hostname(/etc/sysconf/network) 和 hosts(/etc/hosts) 使得集群相互ping通

修改slaves文件，添加新節點

修改replication=>2

[hadoop@hftest0001 hadoop]$ pwd
/home/hadoop/hadoop-2.7.1/etc/hadoop

[hadoop@hftest0003 hadoop]$ cat masters 
hftest0001.webex.com
[hadoop@hftest0003 hadoop]$ cat slaves 
hftest0002.webex.com
hftest0003.webex.com

[hadoop@hftest0003 hadoop]$ cat hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
...
...
<configuration>

注意：所有的集群全部需要修改

[hadoop@hftest0001 hadoop-2.7.1]$ pwd
/home/hadoop/hadoop-2.7.1

啟動datanode
[hadoop@hftest0001 hadoop-2.7.1]$ ./sbin/hadoop-daemon.sh start datanode
...
...

webui可以校驗

[hadoop@hftest0001 hadoop-2.7.1]$ ./sbin/start-balancer.sh -threshold 5

啟動nodemanager
[hadoop@hftest0001 hadoop-2.7.1]$ ./sbin/yarn-daemon.sh start nodemanager
...
...

[hadoop@hftest0001 hadoop-2.7.1]$ ./bin/hdfs dfs -ls /tmp
Found 2 items
-rw-r--r--   2 hadoop supergroup        101 2016-01-28 13:54 /tmp/NOTICE.txt ====> replication=2
-rw-r--r--   1 hadoop supergroup       1366 2016-01-28 13:48 /tmp/README.txt

二、刪除節點

 

 本文由用戶 SharonHarde 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！