Hadoop安裝部署
系統要求
安裝虛擬機
使用VirtualBox安裝CentOS6.4，存儲為30G，內存為1G，并使用復制克隆出兩個新的虛擬機，這樣就存在3臺虛擬機，設置三臺虛擬機的主機名稱，如：master、slaver1、slaver2
安裝準備
創建hadoop用戶
使用專有用戶進行相關操作
# 創建hadoop用戶組 groupadd hadoop # 創建hadoop用戶 useradd hadoop # 設置密碼 passwd hadoop # 添加用戶到用戶組 usermod -G hadoop hadoop
基本服務
ssh&rsync
# 安裝ssh服務 yum install ssh # 安裝數據同步工具 yum install rsync # 設置ssh服務開機啟動 systemctl enable sshd.service # 啟動ssh服務 systemctl start sshd.service # 或者 service sshd start
JDK
http://hunng.com/2014/04/18/jdk-install-and-config/
修改主機名
# /etc/hostname master # /etc/hosts 192.168.19.110 master localhost 192.168.19.111 slaver1 192.168.19.112 slaver2
防火墻設置
/etc/init.d/iptables stop
無密碼登錄
1.生成RSA格式的密鑰對
# 切換到hadoop賬戶 cd ssh-keygen -t rsa -P ""
將會在~/.ssh/目錄下生成密鑰文件idrsa與公鑰文件idrsa.pub
2.設置自動登錄
# 單機模式下 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys # 集群模式下 scp ~/.ssh/id_rsa.pub hadoop@slaver:/home/hadoop/.ssh/authorized_keys
安裝配置
目錄規范
為便于管理, 最好將程序目錄和數據目錄分離。
1.程序目錄
mkdir /opt/cloud tar -zxvf hadoop-1.0.4.tar.gz -C /opt/cloud/src/ cd /opt/cloud/ ln -s -f /opt/cloud/src/hadoop-1.0.4 hadoop
2.數據目錄
# 設置目錄所有者為hadoop mkdir /data chown hadoop:hadoop /data # 切換到hadoop賬戶創建相關目錄 su hadoop mkdir hadoop mkdir -p logs/hadoop mkdir -p pids/hadoop
修改配置
1.系統變量設置
# vim /etc/profile export HADOOP_HOME=/opt/cloud/hadoop export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH source /etc/profile
2.$HADOOP_HOME/conf/hadoop-env.sh
export JAVA_HOME=/usr/java/default export HADOOP_LOG_DIR=/data/logs/hadoop export HADOOP_PID_DIR=/data/pids/hadoop
3.$HADOOP_HOME/conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir></name>
<value>/data/hadoop</value>
</property>4.$HADOOP_HOME/conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>5.$HADOOP_HOME/conf/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>${hadoop.tmp.dir}/dfs/data</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>${hadoop.tmp.dir}/dfs/name</value>
</property>6.$HADOOP_HOME/conf/masters
master
7.$HADOOP_HOME/conf/slavers
slaver1 slaver2
啟動服務
1.格式化文件系統
$HADOOP_HOME/bin/hadoop namenode -format
2.啟動HDFS服務
$HADOOP_HOME/bin/start-dfs.sh
3.啟動MR服務
$HADOOP_HOME/bin/start-mapred.sh
4.相關進程
[hadoop@master ~]$ cd /opt/cloud/hadoop/bin/ [hadoop@master bin]$ ./start-all.sh starting namenode, logging to /data/logs/hadoop/hadoop-hadoop-namenode-master.out master: starting datanode, logging to /data/logs/hadoop/hadoop-hadoop-datanode-master.out master: starting secondarynamenode, logging to /data/logs/hadoop/hadoop-hadoop-secondarynamenode-hadooptest.out starting jobtracker, logging to /data/logs/hadoop/hadoop-hadoop-jobtracker-master.out master: starting tasktracker, logging to /data/logs/hadoop/hadoop-hadoop-tasktracker-master.out [hadoop@master bin]$ jps 2542 SecondaryNameNode 2282 NameNode 2764 TaskTracker 2819 Jps 2634 JobTracker 2409 DataNode [hadoop@master bin]$
5.查看狀態
本文由用戶 ymc4 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！