hadoop配置文件

來自： http://my.oschina.net/673236963/blog/634873

hadoop 1X系列的五大守護進程:

1.NameNode,

它是hadoop中的主服務器,管理文件系統名稱空間和對集群中存儲的萬能鍵

2.DataNode,

負責管理連接到節點存儲(一個 集群中可以有多個節點),每個存儲數據的節點運行一個datanode守護進程.

3.SecondaryNameNode

它不是namenode的哦冗余守護 進程,而是提供周期檢查點和清理任務,出于對可擴展性和容錯性考慮,一般我們把它和namenode放開放在兩臺不同的服務器上

4.JobTracker,5.TaskTracker

負責調度datanode上的工作,每個datanode上有個tasktracker,它們執行實際工作.JobTracker和TaskTracker采用主-從形式.JobTracker跨Datanode分發工作,TaskTracker執行任務.JobTracker還檢查請求的工作,如果一個DataNode由于某種原因失敗,JobTracker會重新調度以前的任務.

一.基礎配置文件

1.core-site.xml    配置hadoop common project相關的屬性配置,也就是以前的hadoop core project項目的相關配置.屬于基礎框架的配置

上一個是namenode守護進程.主機名和端口號.下面一個是hadoop臨時目錄,也是文件系統的目錄.

2.hdfs-site.xml    配置HDFS project文件系統的相關屬性配置

上一個是設置hdfs的副本數,第二個是文件的權限,這里設置不檢查權限

3mapred-ste.xml    配置與mapreduce框架的相關配置.

制定JobTracker的主機和端口號.

二.額外配置文件

4.Masters:主節點,但并不是配置hadoop中的主節點的相關信息,配置hdfs輔助節點輔助節點的信息

指定SecondaryNameNode的位置,一行代表一個主機,可以配置多個.

5.slaves:從節點,配置hdfs和mapreduce框架的從節點信息

指定DataNode和TaskTracker的位置,這里和Masters一樣,也可以配置多臺機器.

小結:從上面我們可以看到hadoop的五大守護進程其實就是上面的1.3.4.5四點去配置的.