Happy 為Jython開發者使用Hadoop框架提供了便利，Happy框架封裝了Hadoop的復雜調用過程，讓Map-Reduce開發變得更為容易。

Spark可以直接對HDFS進行數據的讀寫，同樣支持Spark on YARN。Spark可以與MapReduce運行于同集群中，共享存儲資源與計算，數據倉庫Shark實現上借用Hive，幾乎與Hive完全兼容。

這里將自己在初識hadoop過程中遇到的一些錯誤做一個簡單總結：

VirtualBox號稱是免費虛擬機軟件中最強的，擁有豐富的特色和出色的性能，在虛擬機市場占用重要地位。我們選擇它的理由是：*安裝程序體積小。相對于同類產品VMWare的四五百兆的體積，VirtualBox只有幾十兆的安裝程序，安裝完成后也只有120多兆，太小巧了。*功能簡單實用。配置簡單、克隆系統、共享文件、虛擬化等一樣不缺*免費。這是最大的誘惑。

Hadoop是一個分布式的文件系統，他就像一個管家，管理你數據的存放，在物理上較遠的地方會分別存放（這樣一是不同的地方讀取數據都很快，也起到了異地容災的作用），他會動態管理和調動你的數據節點，高強的容錯處理，最大程度的降低數據丟失的風險。Hadoop Map/Reduce是一個使用簡易的軟件框架，基于它寫出來的應用程序能夠運行在由上千個商用機器組成的大型集群上，并以一種可靠容錯的方式并行處理上T級別的數據集。 一個Map/Reduce 作業（job） 通常會把輸入的數據集切分為若干獨立的數據塊，由 map任務（task）以完全并行的方式處理它們。框架會對map的輸出先進行排序， 然后把結果輸入給reduce任務。通常作業的輸入和輸出都會被存儲在文件系統中。 整個框架負責任務的調度和監控，以及重新執行已經失敗的任務。

MapReduce編程模型的思想來源于函數式編程語言Lisp，由Google公司于2004年提出并首先應用于大型集群。同時，Google也發表了GFS、BigTable等底層系統以應用MapReduce模型。在2007年，Google’s MapReduce Programming Model-Revisted論文發表，進一步詳細介紹了Google MapReduce模型以及Sazwall并行處理海量數據分析語言。Google公司以MapReduce作為基石，逐步發展成為全球互聯網企業的領頭羊。Hadoop作為Apache基金會資助的開源項目，由Doug Cutting帶領的團隊進行開發，基于Lucene和Nutch等開源項目，實現了Google的GFS和Hadoop能夠穩定運行在20個節點的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop項目正式支持HDFS和MapReduce的獨立開發。同時，新興公司Cloudera為Hadoop提供了商業支持，幫助企業實現標準化安裝，并志愿貢獻社區。Hadoop的最新版本是0.21.0，說明其還在不斷完善發展之中。

Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。 Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性（fault-tolerent）的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。

Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性（fault-tolerent）的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。

在Master上運行的是JobTracker守護進程，而在Slave上運行的是TaskTracker守護進程。對于一個作業，首先提交給JobTracker，再由JobTracker對提交的作業進行處理。

0概述：所有的Hadoop命令均由bin/hadoop腳本引發。不指定參數運行hadoop腳本會打印所有命令的描述。

Hadoop Map/Reduce是一個使用簡易的軟件框架，基于它寫出來的應用程序能夠運行在由上千個商用機器組成的大型集群上，并以一種可靠容錯的方式并行處理上T級別的數據集。

本文檔是Hadoop部署文檔,提供了Hadoop單機安裝和Hadoop集群安裝的方法和步驟,本文檔希望讓Hadoop安裝部署更簡單(Easy)。 本安裝文檔適用于 centos 5 /red hat 5.2 32位,64位版本,ubuntu 等操作系統 需要做部分修改。

它是hadoop的一個工具，用來創建和運行一類特殊的map/reduce作業。所謂的特殊的map/reduce作業可以是可執行文件或腳本本件（python、PHP、c等）。Streaming使用“標準輸入”和“標準輸出”與我們編寫的Map和Reduce進行數據的交換。由此可知，任何能夠使用“標準輸入”和“標準輸出”的編程語言都可以用來編寫MapReduce程序。

概述 所有的hadoop命令均由bin/hadoop腳本引發。不指定參數運行hadoop腳本會打印所有命令的描述。 用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop有一個選項解析框架用于解析一般的選項和運行類。 命令選項 描述 --config confdir 覆蓋缺省配置目錄。缺省是

司目錄HDFS文件系統與HDFS窺探內部結構運行正常流程/非正常流程/發現異常MapReduce參與計算角色窺探JOB運行MR提供重寫接口配置參數調優Hadoop組成HDFS文件系統HDFS什么是文件系統文件系統：操作系統用于明確磁盤或分區上的文件的方法和數據結構；即在磁盤上組織文件的方法。

數據太多了，需要能存儲、快速分析Pb級數據集的系統單機的存儲、IO、內存、CPU有限，需要可擴展的集群使用門檻低，數據分析是個龐雜的問題，MPI太復雜單點故障問題–機器多了單點故障成為正常的異常–節點有增有減Hadoop就是一個滿足易用性、可靠性、可擴展性的存儲計算平臺，還是開源的！Hive：數據倉庫，facebook貢獻PIG：并行計算的一種高級語言，yahoo貢獻Nutch：網頁搜索軟件，不只是爬蟲Avro：數據序列化系統Chukwa：用于管理大規模分布式集群的數據收集系統ZooKeeper：用于分布式應用的高性能協同服務Hbase：類似于BigTable的，key-value數據庫系統Mahout：分布式機器學習和數據挖掘的LibHama：基于BSP的超大規模科學計算框架

Job – A “full program” - an execution of a Mapper and Reducer across a data set Task – An execution of a Mapper or a Reducer on a slice of data a.k.a. Task-In-Progress (TIP) Task Attempt – A particular instance of an attempt to execute a task on a machine

如果覺得有幫助的話就頂下吧 在統計的時候經常會用到排重，比如想統計每日登陸用戶，但是一個用戶一次多次登陸情況，或者一個產品被多少個用戶下載。。

Hadoop 包括如下幾個模塊：