環境：Win7系統裝虛擬機虛擬機VMware-workstation-full-9.0.0-812388.exeLinux系統Ubuntu12.0.4JDKjdk-7u17-linux-i586.tar.gz搭建步驟：首先在win系統裝虛擬機，執行VMware-workstation-full-9.0.0-812388.exe；其次需要在虛擬機上裝Ubuntu12.0.4；安裝完成Ubuntu12.0.4之后，需要安裝JDK，(注意：安裝JDK需要處理一些其他問題，JDK必須是Linux版本的，還有就是JDK要和操作系統的位數相符合，比如32位、64位都有對應的安裝包)：JDk的安裝路徑

Hive 是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。Hive 定義了簡單的類 SQL 查詢語言，稱為 QL，它允許熟悉 SQL 的用戶查詢數據。同時，這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的復雜的分析工作。

目錄阿里搜索業務簡介搜索技術體系搜索離線系統實時計算方案集群優化與管理展望未來阿里搜索業務簡介搜索技術體系目錄阿里搜索業務簡介搜索技術體系搜索離線系統實時計算方案集群優化與管理展望未來離線系統—架構

Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統中的數據。 Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，則MapReduce為海量的數據提供了計算

Hadoop Technical Walkthrough HDFS Databases Using Hadoop in an Academic Environment Performance tips and other tools

Hadoop Performance at LinkedIn

CDH4.1.2集群安裝配置詳細過程CDH4.1.2 CDH是Cloudera完全開源的Hadoop分布式系統架構，為了滿足企業的需求而特別構建的系統。即一個開源的企業級分布式存儲系統。全稱：ClouderaHadoop。它是在ApacheHadoop基礎上打入了很多patch。使之性能更好，更加滿足生產環境。CDH4.1.2使用的是apache的hadoop2.0版本，與之前的穩定的hadoop-1.x相比，ApacheHadoop2.x有較為顯著的變化。Hadoop介紹Hadoop是apache的開源項目，開發的主要目的是為了構建可靠、可拓展、穩定的分布式的系統，hadoop是一系列的子工程的總和，其中包含：1.hadoopcommon：為其他項目提供基礎設施

主要內容Hadoop1.0的局限性Hadoop2.0新特性介紹Hadoop現狀及最新進展Hadoop1.0的局限-HDFS※資源隔離※元數據擴展性※訪問效率※數據丟失缺陷？Hadoop1.0的局限-MapReduce擴展性集群最大節點數–4000最大并發任務數–40000可用性JobTracker負載較重存在單點故障,一旦故障，所有執行的任務的全部失敗批處理模式,時效性低僅僅使用MapReduce一種計算方式低效的資源管理把資源強制劃分為maptaskslot和reducetaskslot,當系統中只有maptask或者只有reducetask的時候，會造成資源的浪費當map-reducejob非常多的時候，會造成很大的內存開銷，潛在來說，也增加了JobTrackerfail的風險，這也是業界普遍總結出老Hadoop的Map-Reduce只能支持4000節點主機的上限

Hadoop綜述主要內容*第一篇HDFS分布式文件系統第二篇MapReduce第三篇Hbase簡單介紹第一篇HDFS*一：TheDesignofHDFS二：HDFSConcepts三：應用程序示例四：DataFlow第二篇MapReduce*一：MapReduce基礎二：MapReduce數據流三：MapReduce工作原理第三篇Hbase簡單介紹*一：簡介二：數據模型三：行、列、時間戳、API第

參考資料Google的核心技術Google的十個核心技術，而且可以分為四大類：分布式基礎設施：GFS、Chubby和ProtocolBuffer。分布式大規模數據處理：MapReduce和Sawzall。分布式數據庫技術：BigTable和數據庫Sharding。數據中心優化技術：數據中心高溫化、12V電池和服務器整合。Google的核心技術分布式基礎設施GFS由于搜索引擎需要處理海量的數據，所以Google的兩位創始人LarryPage和SergeyBrin在創業初期設計一套名為"BigFiles"的文件系統，而GFS（全稱為"GoogleFileSystem"）這套分布式文件系統則是"BigFiles"的延續。

內存計算Spark和SQL on Hadoop黃永卿解決方案中心目錄安裝配置與簡介為什么需要Spark Hadoop(MapReduce)極大的簡化了大數據分析但是，隨著大數據需求和使用模式的擴大，用戶的需求也越來越多：>>更復雜的多重處理需求（比如迭代計算,ML,Graph）>>低延遲的交互式查詢需求（比如ad-hocquery）MapReduce計算模型的架構導致上述兩類應用先天緩慢，用戶迫切需要一種更快的計算模型，來補充MapReduce的先天不足。

講解Hadoop單機安裝和Hadoop集群安裝的方法和步驟,本文檔希望讓Hadoop安裝部署更簡單(Easy)。

在eclipse中閱讀源碼非常方便，利于我們平時的學習，下面講述如何把hadoop源碼導入到eclpse的java工程中。解壓源碼首先，我們在windows下使用winrar把hadoop-1.1.2.tar.gz解壓，如圖1所示圖1我們關注文件夾src，瀏覽該文件夾，如圖2所示圖2我們需要這三個文件夾，一會我們會把這三個文件夾復制到eclipse中。

Cloudera Manager介紹和安裝ClouderaManager（簡稱CM）用于管理CDH4集群，可進行節點安裝、配置、服務配置等，提供Web窗口界面提高了Hadoop配置可見度，而且降低了集群參數設置的復雜度。

在所有節點編輯好host文件三個節點，先定義好主機名！！！！！這步很重要分別是hadoop1,hadoop2,hadoop32在所有節點上創建密鑰

Hadoop是一個分布式的計算平臺。 Hadoop primarily consists of the Hadoop Distributed FileSystem (HDFS) and an implementation of the Map-Reduce programming paradigm.<br> Hadoop is a software framework that lets one easily write and run applications that process vast amounts of data. Here's what makes Hadoop especially useful:<br> 可擴展: Hadoop can reliably store and process petabytes. 廉價: It distributes the data and processing across clusters of commonly available computers. These clusters can number into the thousands of nodes. <br> 高效: By distributing the data, Hadoop can process it in parallel on the nodes where the data is located. This makes it extremely rapid. <br> 可靠: Hadoop automatically maintains multiple copies of data and automatically redeploys computing tasks based on failures.

Hadoop正是為了解決互聯網時代的海量數據存儲和處理而設計、開發的。簡單地講，Hadoop是一個可以更容易開發和并行處理大規模數據的分布式計算平臺 Hadoop的核心框架包括兩個部分：HDFS 和Mapreduce；HDFS（即Hadoop Distributed System的縮寫）是分布式計算的基石，而Mapreduce是任務的分解和結果的匯總。簡單的說，Map就是 將一個任務分解成 為多個任務，而Reduce就是將分解后多任務處理的結果匯總起來得出最后的結果；HDFS是一個與其它文件系統類似的，對于整個集群有單一的命名空間，文件被分割為多塊分配存儲到數據節點上的一個系統。

大家都熟悉文件系統，在對HDFS進行分析前，我們并沒有花很多的時間去介紹HDFS的背景，畢竟大家對文件系統的還是有一定的理解的，而且也有很好的文檔。在分析Hadoop的MapReduce部分前，我們還是先了解系統是如何工作的，然后再進入我們的分析部分。

Hadoop集群搭建文檔

幫助讀者快速掌握hadoop的安裝和部署HDFS，Hbase，Hive等組件。Hadoopt是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的硬件上。而且它提供高傳輸率來訪問應用程序的數據，適合那些有著超大數據集的應用程序。