hadoop 之分布式安裝
1、防火墻;
1) 重啟后生效
開啟: chkconfig iptables on
關閉: chkconfig iptables off
2) 即時生效,重啟后失效
開啟: service iptables start
關閉: service iptables stop
3)查看防火墻狀態:service iptables status
2、HDFS 啟動
sbin/hadoop-daemon.sh start/stop namenode
sbin/hadoop-daemon.sh start/stop secondarynamenode
sbin/hadoop-daemon.sh start/stop datanode
需要在sbin目錄下操作
yarn jar /opt/cloud/hadoop-2.6.0-cdh5.4.2/ws/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.4.2.jar wordcount /wordcount /output
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
./yarn-daemon.sh stop nodemanager
./yarn-daeon.sh stop resourcemanager
如何克隆虛擬機:http://www.centoscn.com/CentOS/2015/0208/4656.html
CentOS Linux 克隆完后,連接問題 http://my.oschina.net/u/2356966/blog/469248
一定要保證,集群中的所有節點的配置都是一樣的,
因此,我是在同一個節點上配置,然后同步到其他的機器上。
臨時修改用戶名:hostname 新名
永久性修改:vim /etc/sysconfig/network
ssh這是個命令,可以放到shell腳本,那么這樣就能夠實現自動化的連接到其他的機器,同時,執行相應的命令。
設置步驟
生成自己的公私鑰對:ssh-keygen -t rsa
將自己的公鑰復制到對方的機器下,并授權;ssh-copy-id root@master
別忘了給自己也設置下
使用ssh直接登錄,不需要添寫密碼
ssh-keygen -t rsa 生成一次
ssh-copy-id root@master 多次授權給不同的機器
同步;
scp -r hadoop-2.6.0-cdh5.4.2/ root@slave01:/opt/cloud/
scp -r jdk1.7.0_45/ root@slave01:/opt/cloud/
scp -r /etc/profile root@slave01:/etc/profile
master節點格式化:hdfs namenode -format
datanode節點啟動,需要刪除dfs中的dn文件