Hadoop集群搭建(-v1.2.1)
Hadoop集群搭建(-v1.2.1)
<p>@[hadoop]</p>
1. 官網下載安裝包(版本: 1.2.1)
2. 安裝依賴
3. 解壓安裝包，添加HADOOP_HOME變量到/etc/profile
4. 搭建集群
- 機器規劃(三臺小集群)
| 主機名 |
IP | Node | Tracker | </tr>
| master |
192.168.10.1 |
NameNode |
JobTracker |
| slave1 |
192.168.10.1 |
DateNode |
TaskTracker |
| slave2 |
192.168.10.2 |
DateNode |
TaskTracker |
| slave3 |
192.168.10.3 |
DateNode |
TaskTracker |
</tbody>
</table>
在三臺機器上創建相同的用戶: hadoop
在三臺機器上分別配置/etc/hosts
192.168.10.1 master slave1
192.168.10.2 slave2
192.168.10.3 slave3
在三臺機器上建立ssh-key，并設置免密碼登陸
$ ssh-keygen -t dsa
$ cat ~/ssh/id_dsa.pub >> ~/ssh/authorized_keys
將authorized_keys文件內容復制到另外兩臺主機的~/ssh/authorized_keys文件中
將Hadoop安裝包復制到三臺機器中，修改Hadoop中的配置文件
- conf/Hadoop-env.sh
export JAVA_HOME=path-to-jdk - conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/tmp/hadoop</value>
</property>
</configuration>
- conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.repliation</name>
<value>3</value>
<!--value的值跟slave數一致 -->
</property>
</configuration>
- conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://master:9001</value>
</property>
</configuration>
- conf/master
master - conf/slave
slave1
slave2
slave3
</ul>
</li>
</ol>
5. 啟動Hadoop服務
$ bin/hadoop namenode -format #格式化hdfs
$ bin/start-all.sh # 啟動所有進程
查看集群狀態:
http://localhost:50030 # MapReduce的Web頁面
http://localhost:50070 # HDFS的Web頁面
或
$ hadoop dfsadmin -report
6. 停止Hadoop服務
bin/stop-all.sh
本文由用戶
jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！
sesese色