2011年，對 Hadoop 來說注定是載入史冊的一年：Yahoo!與風險投資公司 Benchmark Capital 聯合建立獨立公司 Hortonworks，接手 Yahoo!開源軟件平臺 Apache Hadoop；Hadoop 海量數據分析平臺 Datameer、Karmasphere 和 Hadapt 分別獲得千萬美元級別投資；一向對開源趨勢不屑一顧的微軟轉投 Hadoop 懷抱；Hadoop 之父 Doug Cutting 第一次蒞臨中國

調用文件系統(FS)Shell命令應使用 bin/hadoop fs。所有的的FS shell命令使用URI路徑作為參數。URI格式是scheme://authority/path。對HDFS文件系統，scheme是hdfs，對本地文件系統，scheme是file。

hadoop安裝配置

hadoop是一個開源的軟件框架，是一個利用商業硬件處理和存儲大型數據的軟件。從下到上主要有五個主要的組成部分：

Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作為 Lucene 的子項目 Nutch 的一部分正式引入。它受到最先由 Google Lab 開發的 MapReduce 和 Google File System 的啟發。2006 年 3 月份，MapReduce 和 Nutch Distributed File System (NDFS) 分別被納入稱為 Hadoop 的項目中。<br> Hadoop并不僅僅是一個用于存儲的分布式文件系統，而是設計用來在由通用計算設備組成的大型集群上執行分布式應用的基礎框架。它由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。

本教程使用Ubuntu12.0464位作為系統環境（Ubuntu14.04也行，32位、64位均可），請自行安裝系統裝好了Ubuntu系統之后，在安裝Hadoop前還需要做一些必備工作。

一準備工作準備4臺ubuntu操作系統的linux服務器，要求系統版本遺址Jdk1.6,hadoop0.20.2安裝包,ssh為系統都統一創建一個名稱相同的用戶二搭建工作環境2.1安裝jdk1.6(不做詳細介紹)2.2實現ssh無密碼驗證1．終端輸入ssh-keygen–trsa–P2.直接回車采用默認路徑。生成的密鑰對：id_rsa和id_rsa.pub，默認存儲在“/home/hadoop/.ssh”目錄下

本文檔主要是針對Hadoop最基本知識的了解，對于剛剛接觸Hadoop學習過程中的總結。Hadoop是什么Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應用程序的數據，適合那些有著超大數據集（largedataset）的應用程序。

在編寫 Flink，Spark，Hive 等相關作業時，要是能快速的將我們所編寫的作業能可視化在我們面前，是件讓人興奮的時，如果能帶上趨勢功能就更好了。今天，給大家介紹這么一款工具。它就能滿足上述要求，在使用了一段時間，這里給大家分享以下使用心得。

Hadoop RPC是Hadoop的一個重要部分，提供分布式環境下的對象調用功能，源碼在org.apache.hadoop.ipc中。而HBase也幾乎完全copy了這部分的源碼，只是在配置項上面有所改動。

hadoop一個用 于在普通硬件構成 的大集群上運行應用程序的框架。Hadoop框架透明地為應用程序提供可靠性與數據移動保障。Hadoop實現了一個被稱為 mapReduce的 計算模型，在這個計算模型中應用程序被分為很多的小塊，每一塊都能在集群中的任意節點上執行或重新執行。另外，它還提供了一個分布式文件系統（HDFS） 來在計算節 點上存儲數據，為集群提供了非常高的聚合帶寬。在本框架中無論是Map/Reduce還是分布式文件系統都被設計為能夠自動地處理節點上的錯誤。

因為有了 Savanna ，兩個最大的開源項目 Hadoop 和 OpenStack 可以在一起工作。這是紅帽、Hortonworks 和 Mirantis 新開發的 OpenStack 組件。項目的主要目的就是 Hadoop 成為 OpenStack 的一級使用者。

Map/Reduce是一個用于大規模數據處理的分布式計算模型，它最初是由Google工程師設計并實現的，Google已經將它完整的MapReduce論文公開發布了。其中對它的定義是，Map/Reduce是一個編程模型（programming model），是一個用于處理和生成大規模數據集（processing and generating large data sets）的相關的實現。用戶定義一個map函數來處理一個key/value對以生成一批中間的key/value對，再定義一個reduce函數將所有這些中間的有著相同key的values合并起來。很多現實世界中的任務都可用這個模型來表達。 Hadoop的Map/Reduce框架也是基于這個原理實現的，下面簡要介紹一下Map/Reduce框架主要組成及相互的關系。

Hadoop原來是Apache Lucene下的一個子項目，它最初是從Nutch項目中分離出來的專門負責分布式存儲以及分布式運算的項目。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。

hadoop面試小結

Apache Hadoop 2.6.0包含了許多重要的特性。

其實我們要知道大數據的實質特性：針對增量中海量的結構化，非結構化，半結構數據，在這種情況下，如何快速反復計算挖掘出高效益的市場數據？？帶著這 個問題滲透到業務中去分析，就知道hadoop需要應用到什么業務場景了！！！如果關系型數據庫都能應付的工作還需要hadoop嗎？比如 1.銀行的信用卡業務，當你正在刷卡完一筆消費的那一瞬間，假如在你當天消費基礎上再消費滿某個額度，你就可以免費獲得某種令你非常滿

http://hadoop.apache.org/common/docs/r0.19.2/cn/index.html

Introduction Distributed Neural Network Algorithm What is Guagua? Guagua Advanced Features Shifu on Guagua Future Plans