Hadoop Map/Reduce是一個使用簡易的軟件框架，基于它寫出來的應用程序能夠運行在由上千個商用機器組成的大型集群上，并以一種可靠容錯的方式并行處理上T級別的數據集。

MapReduce編程模型的思想來源于函數式編程語言Lisp，由Google公司于2004年提出并首先應用于大型集群。同時，Google也發表了GFS、BigTable等底層系統以應用MapReduce模型。在2007年，Google’s MapReduce Programming Model-Revisted論文發表，進一步詳細介紹了Google MapReduce模型以及Sazwall并行處理海量數據分析語言。Google公司以MapReduce作為基石，逐步發展成為全球互聯網企業的領頭羊。 <br> Hadoop作為Apache基金會資助的開源項目，由Doug Cutting帶領的團隊進行開發，基于Lucene和Nutch等開源項目，實現了Google的GFS和Hadoop能夠穩定運行在20個節點的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop項目正式支持HDFS和MapReduce的獨立開發。同時，新興公司Cloudera為Hadoop提供了商業支持，幫助企業實現標準化安裝，并志愿貢獻社區。Hadoop的最新版本是0.21.0，說明其還在不斷完善發展之中。

hadoop Map/Reduce開發實例

Hadoop是MapReduce的開源實現，現在介紹它的單機模式安裝方法。實驗平臺：Ubuntu9.04，Hadoop0.20，JDK1.6。

在Master上運行的是JobTracker守護進程，而在Slave上運行的是TaskTracker守護進程。對于一個作業，首先提交給JobTracker，再由JobTracker對提交的作業進行處理。

概述HadoopMap-Reduce是一個使用簡易的軟件框架，基于它寫出來的應用程序能夠運行在由上千個商用機器組成的大型集群上，并以一種可靠容錯的方式并行處理上T級別的數據集。一個Map-Reduce?作業（job）?通常會把輸入的數據集切分為若干獨立的數據塊，由?map任務（task）以完全并行的方式處理它們。

內容：MapReduce概述,MapReduce的數據流,檢查點,相關編程要點,Map過程Map過程通過在輸入列表中的每一項執行函數，生成一系列的輸出列表。Reduce過程Reduce過程在一個輸入的列表進行掃描工作，隨后生成一個聚集值，作為最后的輸出MapReduce的Reduce過程所有不同的顏色代表不同的鍵值（keys）。

HDFS為了做到可靠性（reliability）創建了多份數據塊（data blocks）的復制（replicas），并將它們放置在服務器群的計算節點中（compute nodes），MapReduce就可以在它們所在的節點上處理這些數據了。

不管程序性能有多高，機器處理能力有多強，都會有其極限。能夠快速方便的橫向與縱向擴展是Nut設計最重要的原則，以此原則形成以分布式并行計算為核心的架構設計。以分布式并行計算為核心的架構設計是Nut區別于Solr、Katta的地方。 Nut是一個Lucene+Hadoop分布式并行計算搜索框架，能對千G以上索引提供7*24小時搜索服務。在服務器資源足夠的情況下能達到每秒處理100萬次的搜索請求。 ?

Hadoop核心、Hadoop dfs（Hdfs）、MapReduce 分布式并行計算模型 Hadoop擴展、Hadoop base（Hbase）基于hadoop核心的高擴展性分布式數據庫、Pig-一種高級數據流語言和并行計算的執行框架，也基于hadoop核心 、Hive-建立在hadoop之上的數據倉庫基礎設施，提供數據摘要，adhoc、querying，數據集分析。

MapReduce編程模型的思想來源于函數式編程語言Lisp，由Google公司于2004年提出并首先應用于大型集群。同時，Google也發表了GFS、BigTable等底層系統以應用MapReduce模型。在2007年，Google’s MapReduce Programming Model-Revisted論文發表，進一步詳細介紹了Google MapReduce模型以及Sazwall并行處理海量數據分析語言。Google公司以MapReduce作為基石，逐步發展成為全球互聯網企業的領頭羊。Hadoop作為Apache基金會資助的開源項目，由Doug Cutting帶領的團隊進行開發，基于Lucene和Nutch等開源項目，實現了Google的GFS和Hadoop能夠穩定運行在20個節點的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop項目正式支持HDFS和MapReduce的獨立開發。同時，新興公司Cloudera為Hadoop提供了商業支持，幫助企業實現標準化安裝，并志愿貢獻社區。Hadoop的最新版本是0.21.0，說明其還在不斷完善發展之中。

前言：Hadoop是一個分布式系統基礎架構，主要是由HDFS、MapReduce和Hbase組成，分別為Google集群系統GFS、MapReduce、BigTable的開源實現。具有擴容能力強，效率高，成本低，可靠性好等特點。配置前最好熟悉一下Linux常用命令的使用，遇到問題時善于利用收索引擎，本教程的Linux版本選擇比較常用的Ubuntu。

分布式計算開源框架Hadoop介紹 - 分布式計算開源框架Hadoop入門實踐（一）在SIP項目設計的過程中，對于它龐大的日志在開始時就考慮使用任務分解的多線程處理模式來分析統計，在我從前寫的文章《Tiger Concurrent Practice--日志分析并行分解設計與實現》中有所提到。但是由于統計的內容暫時還是十分簡單，所以就采用Memcache作為計數器，結合MySQL就完成了訪問控制以及統計的工作。然而未來，對于海量日志分析的工作，還是需要有所準備。現在最火的技術詞匯莫過于“云計算”，在Open API日益盛行的今天，互聯網應用的數據將會越來越有價值，如何去分析這些數據，挖掘其內在價值，就需要分布式計算來支撐海量數據的分析工作。

Hadoop提供了一個穩定的共享存儲和分析系統。存儲由HDFS實現，分析由MapReduce實現。縱然Hadoop還有其他功能，但這些功能是它的核心所在。

Hadoop集群安裝。首先我們統一一下定義，在這里所提到的Hadoop是指HadoopCommon，主要提供HDFS（分布式文件存儲）與Map/Reduce的核心功能。　

稱節點是Hadoop后臺進程中最重要的部分。Hadoop以一種主/從結構來實現分布式文件系統和分布式計算。分布式文件系統被稱為HadoopFileSystem或者HDFS。名稱節點是HDFS中的控制部分，用來控制從屬的數據節點進程執行底層的輸入/輸出任務。名稱節點也是HDFS的記錄，其記錄了文件是如何被分解為各個節點塊的情況以及分布式文件系統的總體情況。

報告內容：Hadoop核心：1、Hadoopdfs（Hdfs），MapReduce分布式并行計算模型。2、Hadoop擴展，Hadoopbase（Hbase）基于hadoop核心的高擴展性分布式數據庫。Pig-一種高級數據流語言和并行計算的執行框架，也基于hadoop核心，Hive-建立在hadoop之上的數據倉庫基礎設施，提供數據摘要，adhocquerying，數據集分析。