??HDFS以透明方式校驗所有寫入它的數據，并在默認設置下，會在讀取數據時驗證校驗和。針對數據的每個io.bytes.per.checksum(默認512字節)字節，都會創建一個單獨的校驗和。 數據節點負責在存儲數據及其校驗和之前驗證它們收到的數據。 從客戶端和其它數據節點復制過來的數據。客戶端寫入數據并且將它發送到一個數據節點管線中，在管線的最后一個數據節點驗證校驗和。

一．Hadoop核心角色hadoop框架Hadoop使用主/從（Master/Slave）架構，主要角色有NameNode，DataNode，secondaryNameNode，JobTracker，TaskTracker組成。其中NameNode，secondaryNameNode，JobTracker運行在Master節點上，DataNode和TaskTracker運行在Slave節點上。?1，NameNodeNameNode是HDFS的守護程序，負責記錄文件是如何分割成數據塊的，以及這些數據塊被存儲到哪些數據節點上。它的功能是對內存及I/O進行集中管理。

Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。<br> Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性（fault-tolerent）的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。

一、安裝sun的jdk和hadoop，不要使用open-jdk本人安裝的jdk1.7.0.rpm包（默認安裝路勁為/usr/java/jdk1.7.0）解壓hadoop-0.20.2到：/home/hadoop/。

Hadoop是Google MapReduce 的一個Java實現。MapReduce是一種簡化的分布式編程模式，讓程序自動分布到一個由普通機器組成的超大集群上并發執行。就如同java程序員可以不考慮內存泄露一樣， MapReduce的run-time系統會解決輸入數據的分布細節，跨越機器集群的程序執行調度，處理機器的失效，并且管理機器之間的通訊請求。這樣的模式允許程序員可以不需要有什么并發處理或者分布式系統的經驗，就可以處理超大的分布式系統得資源。

Hadoop作為Apache基金會資助的開源項目，由Doug Cutting帶領的團隊進行開發，基于Lucene和Nutch等開源項目，實現了Google的GFS和Hadoop能夠穩定運行在20個節點的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop項目正式支持HDFS和MapReduce的獨立開發。同時，新興公司Cloudera為Hadoop提供了商業支持，幫助企業實現標準化安裝，并志愿貢獻社區。Hadoop的最新版本是0.21.0，說明其還在不斷完善發展之中。<br> Hadoop由分布式存儲HDFS和分布式計算MapReduce兩部分組成。HDFS是一個master/slave的結構，就通常的部署來說，在master上只運行一個Namenode，而在每一個slave上運行一個Datanode。MapReduce是Google的一項重要技術，它是一個編程模型，用以進行大數據量的計算。MapReduce的名字源于這個模型中的兩項核心操作：Map和Reduce。Map是把一組數據一對一的映射為另外的一組數據，Reduce是對一組數據進行歸約，映射和歸約的規則都由一個函數指定。

上就出現了一個類似的解決方案，目前它們都屬于Apache的Hadoop項目，對應的分別是：Chubby-->ZooKeeperGFS-->HDFSBigTable-->HBaseMapReduce-->Hadoop目前，基于類似思想的OpenSource項目還很多，如Facebook用于用戶分析的Hive。HDFS作為一個分布式文件系統，是所有這些項目的基礎。分析好HDFS，有利于了解其他系統。由于Hadoop的HDFS和MapReduce是同一個項目，我們就把他們放在一塊，進行分析。下圖是MapReduce整個項目的頂層包圖和他們的依賴關系。Hadoop包之間的依賴關系比較復雜，原因是HDFS提供了一個分布式文件系統，該系統提供API，可以屏蔽本地文件系統和分布式文件系統，甚至象AmazonS3這樣的在線存儲系統。這就造成了分布式文件系統的實現，或者是分布式文件系統的底層的實現，依賴于某些貌似高層的功能。功能的相互引用，造成了蜘蛛網型的依賴關系。一個典型的例子就是包conf，conf用于讀取系統配置，它依賴于fs，主要是讀取配置文件的時候，需要使用文件系統，而部分的文件系統的功能，在包fs中被抽象了。

Hadoop集群搭建機器規格CPU：2個四核2~2.5GHzCPU內存：8~16GBECCRAM(非ECC會產生校驗和錯誤)存儲器：4*1TSATA硬盤（硬盤大小一般是數據量的3—5倍）網絡：千兆以太網PS：namenode一般采用64位硬件，避免32位機java堆3g限制具體規格情況跟數據量有關。

在輸入數據的“邏輯”記錄上應用Map操作得出一個中間Key/value pair集合。在所有具有相同key值的value值上應用Reduce操作，從而達到合并中間的數據，得到一個想要的結果的目的

Google的十個核心技術，而且可以分為四大類： 分布式基礎設施：GFS、Chubby 和 Protocol Buffer。 分布式大規模數據處理：MapReduce 和 Sawzall。 分布式數據庫技術：BigTable 和數據庫 Sharding。 數據中心優化技術：數據中心高溫化、12V電池和服務器整合。

Streaming框架允許任何程序語言實現的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平臺移植。因此可以說對于hadoop的擴展性意義重大，今天簡單說一下。<br> Streaming的原理是用Java實現一個包裝用戶程序的MapReduce程序，該程序負責調用MapReduce Java接口獲取key/value對輸入，創建一個新的進程啟動包裝的用戶程序，將數據通過管道傳遞給包裝的用戶程序處理，然后調用MapReduce Java接口將用戶程序的輸出切分成key/value對輸出。

Mapreduce hadoop hive三者關系Hadoop是2005 Google MapReduce的一個Java實現。MapReduce是一種簡化的分布式編程模式，讓程序自動分布到一個由普通機器組成的超大集群上并發執行。就如同java程序員可以不考慮內存泄露一樣，MapReduce的run-time系統會解決輸入數據的分布細節，跨越機器集群的程序執行調度，處理機器的失效，并且管理機器之間的通訊請求。這樣的模式允許程序員可以不需要有什么并發處理或者分布式系統的經驗，就可以處理超大的分布式系統得資源。（就是抽象）不管過去，現在是Apache軟件基金會管理的開源項目基本架構 - Hadoop是如何構成的Hadoop主要由HDFS(HadoopDistributedFileSystem)和MapReduce引擎兩部分組成最底部是HDFS，它存儲Hadoop集群中所有存儲節點上的文件。HDFS的上一層是MapReduce引擎，該引擎由JobTrackers和TaskTrackers組成。

在使用hadoop的時候，可能遇到各種各樣的問題，然而由于hadoop的運行機制比較復雜，因而出現了問題的時候比較難于發現問題。本文欲通過某種方式跟蹤Hadoop的運行痕跡，方便出現問題的時候可以通過這些痕跡來解決問題。

　Apache Hadoop是一個軟件框架，它可以分布式地操縱大量數據。它于2006年首次提及，由 Google、Yahoo! 和 IBM 等公司支持。可以認為它是一種PaaS模型。<br> 　　它的設計核心是MapReduce實現和 HDFS (Hadoop Distributed File System)，它們源自MapReduce(由一份 Google 文件引入)和 Google File System。<br> 　　MapReduce是 Google 引入的一個軟件框架，它支持在計算機(即節點)集群上對大型數據集進行分布式計算。它由兩個過程組成，映射(Map)和縮減(Reduce)。<br> 　　在映射過程中，主節點接收輸入，把輸入分割為更小的子任務，然后把這些子任務分布到工作者節點。

Mapreduce是一個簡單易用的編程框架，基于Map-reduce寫出的程序可以同時運行在由成千上萬臺計算機組成的計算集群上。就算您不懂得并行編程，不懂套接字，您一樣可以控制多臺計算機同時處理數據。 在Mapreduce OnlineEvaluation上，您可以選擇題目，編寫相應的mapreduce程序，體驗云平臺的編程環境并很方便地學習編寫mapreduce程序。

HDFS被調節以支持大文件存儲。它應該能提供整體上高的數據傳輸帶寬，能在一個集群里擴展到數百個節點。一個單一的HDFS實例應該能支撐數以千萬計的文件；HDFS應用需要一個“一次寫入多次讀取”的文件訪問模型。一個文件經過創建、寫入和關閉之后就不需要改變。這一假設簡化了數據一致性問題，并且使高吞吐量的數據訪問成為可能。

Hadoop 是一個能夠對大量數據進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴于社區服務器，因此它的成本比較低，任何人都可以使用。

Google的核心競爭技術是它的計算平臺. Google的大牛們用了下面5篇文章, 介紹了它們的計算設施. GoogleCluster： Chubby： GFS： BigTable： MapReduce： 很快, Apache上就出現了一個類似的解決方案, 目前它們都屬于Apache的Hadoop項目

這篇文檔的目的是幫助你快速完成單機上的Hadoop安裝與使用以便你對Hadoop分布式文件系統(HDFS)和Map-Reduce框架有所體會，比如在HDFS上運行示例程序或簡單作業等。