hadoop 之分布式安裝

jopen 8年前發布 | 14K 次閱讀 分布式/云計算/大數據

1、防火墻;

    1) 重啟后生效 
    開啟: chkconfig iptables on 
    關閉: chkconfig iptables off 

    2) 即時生效,重啟后失效 
    開啟: service iptables start 
    關閉: service iptables stop 

    3)查看防火墻狀態:service iptables status

 2、HDFS 啟動

       sbin/hadoop-daemon.sh start/stop namenode

        sbin/hadoop-daemon.sh start/stop secondarynamenode

        sbin/hadoop-daemon.sh start/stop datanode

       需要在sbin目錄下操作


yarn jar /opt/cloud/hadoop-2.6.0-cdh5.4.2/ws/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.4.2.jar  wordcount /wordcount  /output

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager


       ./yarn-daemon.sh stop nodemanager

       ./yarn-daeon.sh stop resourcemanager

       如何克隆虛擬機:http://www.centoscn.com/CentOS/2015/0208/4656.html

       CentOS Linux 克隆完后,連接問題   http://my.oschina.net/u/2356966/blog/469248

一定要保證,集群中的所有節點的配置都是一樣的,

因此,我是在同一個節點上配置,然后同步到其他的機器上。

             臨時修改用戶名:hostname  新名

             永久性修改:vim /etc/sysconfig/network

ssh這是個命令,可以放到shell腳本,那么這樣就能夠實現自動化的連接到其他的機器,同時,執行相應的命令。          

設置步驟

        生成自己的公私鑰對:ssh-keygen -t rsa

        將自己的公鑰復制到對方的機器下,并授權;ssh-copy-id root@master

        別忘了給自己也設置下

        使用ssh直接登錄,不需要添寫密碼

ssh-keygen -t rsa  生成一次

ssh-copy-id root@master   多次授權給不同的機器

 

同步;

scp -r hadoop-2.6.0-cdh5.4.2/  root@slave01:/opt/cloud/

scp -r jdk1.7.0_45/  root@slave01:/opt/cloud/

scp -r /etc/profile root@slave01:/etc/profile



master節點格式化:hdfs namenode -format


datanode節點啟動,需要刪除dfs中的dn文件

來自: http://my.oschina.net/u/2356966/blog/535315

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!