Hadoop介紹1.概括介紹2.框架介紹2.1HDFS2.2I/O操作2.3MapReduce概要介紹1.Hadoop就是一個分布式系統基礎架構。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。2.Hadoop是項目的總稱，主要是由Hdfs、MapReduce組成。3.Hadoop就是一個類包，我們使用的一般是java寫的類包，程序中導入該包就可以使用它封裝的各種類來寫Hadoop程序4.運行Hadoop程序目前只能在Linux系統上，window上運行需要安裝其他插件，實習公司的Hadoop程序是在window下開發(編寫程序)，在3臺ubuntu系統上測試(測試程序正確性)。5.個人的觀點：Hadoop中存在很多命令行，就像Linux中的命令行一樣，所以一定要學好linux；Hadoop中存在上千個參數，運行特定的程序，要想取得很好的效果，正確的設置參數是一個很重要的方面。例如：參數dfs.block.size(Hdfs中block的大小)。

什么是Hadoop?Hadoop是Apache下面的一個分布式并行計算框架，是從Lunece中抽取出來的一個框架。Hadoop的核心設計思想是MapReduce和HDFS,其中MapReduce是Google提出的一個軟件架構，用于大規模數據集（大于1TB）的并行運算。前提和設計目標1.硬件錯誤是常態，而非異常情況，HDFS可能是有成百上千的server組成，任何一個組件都有可能一直失效，因此錯誤檢測和快速、自動的恢復是HDFS的核心架構目標。2.跑在HDFS上的應用與一般的應用不同，它們主要是以流式讀為主，做批量處理；比之關注數據訪問的低延遲問題，更關鍵的在于數據訪問的高吞吐量。

Hadoop1.0.0學習筆記。安裝JDK,配置環境JAVA環境變量

Hadoop由 Apache Software Foundation 公司于 2005 年秋天作為 Lucene的子項目 Nutch 的一部分正式引入。它受到最先由 Google 開發的MapReduce 和GoogleFileSystem的啟發，2006年3月份，MapReduce 和 Nutch Distributed File System (NDFS) 分別被納入稱為 Hadoop 的項目中。Hadoop 是最受歡迎的在 Internet 上對搜索關鍵字進行內容分類的工具，但它也可以解決許多要求極大伸縮性的問題。在Hadoop中實現了Google的MapReduce算法，它能夠把應用程序分割成許多很小的工作單元，每個單元可以在任何集群節點上執行或重復執行。此外，Hadoop還提供一個分布式文件系統用來在各個計算節點上存儲數據，并提供了對數據讀寫的高吞吐率。由于應用了map/reduce和分布式文件系統，使得Hadoop框架具有高容錯性，它會自動處理失敗節點。

Hadoop源代碼分析（MapReduce概論） - 大家都熟悉文件系統，在對HDFS進行分析前，我們并沒有花很多的時間去介紹HDFS的背景，畢竟大家對文件系統的還是有一定的理解的，而且也有很好的文檔。在分析Hadoop的MapReduce部分前，我們還是先了解系統是如何工作的，然后再進入我們的分析部分。

一、安裝sun的jdk和hadoop，不要使用open-jdk本人安裝的jdk1.7.0.rpm包（默認安裝路勁為/usr/java/jdk1.7.0）解壓hadoop-0.20.2到：/home/hadoop/。

通過本節的學習，可以掌握如何在單節點上使用Hadoop進行Map/Reduce以及HDFS存儲的實現。

　Apache Hadoop是一個軟件框架，它可以分布式地操縱大量數據。它于2006年首次提及，由 Google、Yahoo! 和 IBM 等公司支持。可以認為它是一種PaaS模型。<br> 　　它的設計核心是MapReduce實現和 HDFS (Hadoop Distributed File System)，它們源自MapReduce(由一份 Google 文件引入)和 Google File System。<br> 　　MapReduce是 Google 引入的一個軟件框架，它支持在計算機(即節點)集群上對大型數據集進行分布式計算。它由兩個過程組成，映射(Map)和縮減(Reduce)。<br> 　　在映射過程中，主節點接收輸入，把輸入分割為更小的子任務，然后把這些子任務分布到工作者節點。

Apache的Hadoop是一個商業硬件上運行的建造大型集群應用的框架。透明的Hadoop框架提供應用可靠性和大容量數據的解決方案。Hadoop的計算模式實現了一個名為Map/ Reduce的思想，如請求的任務是許多小碎片的工作，每一個工作可能在集群中的任一節點被執行。此外，它提供了一個分布式文件系統（HDFS），存儲在具有高帶寬的集群計算節點上。Map/Reduce和HDFS的良好設計使得這個框架足以自動應付節點的故障。

Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。<br> Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性（fault-tolerent）的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。

一、背景為了方便Mapreduce直接訪問關系型數據庫（Mysql，Oracle），Hadoop提供了DBInputFormat和DBOutputFOrmat兩個類。通過DBInputFormat類把數據庫表數據讀入到HDFS，根據DBOutputFormat類把Mapreduce產生的結果集導入到數據庫表。

Hadoop原來是Apache Lucene下的一個子項目，它最初是從Nutch項目中分離出來的專門負責分布式存儲以及分布式運算的項目。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。

Hadoop作為Apache基金會資助的開源項目，由Doug Cutting帶領的團隊進行開發，基于Lucene和Nutch等開源項目，實現了Google的GFS和Hadoop能夠穩定運行在20個節點的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop項目正式支持HDFS和MapReduce的獨立開發。同時，新興公司Cloudera為Hadoop提供了商業支持，幫助企業實現標準化安裝，并志愿貢獻社區。Hadoop的最新版本是0.21.0，說明其還在不斷完善發展之中。<br> Hadoop由分布式存儲HDFS和分布式計算MapReduce兩部分組成。HDFS是一個master/slave的結構，就通常的部署來說，在master上只運行一個Namenode，而在每一個slave上運行一個Datanode。MapReduce是Google的一項重要技術，它是一個編程模型，用以進行大數據量的計算。MapReduce的名字源于這個模型中的兩項核心操作：Map和Reduce。Map是把一組數據一對一的映射為另外的一組數據，Reduce是對一組數據進行歸約，映射和歸約的規則都由一個函數指定。

JobClient.runJob(job)靜態方法會實例化一個JobClient實例,然后用此實例的submitJob(job)方法向 master提交作業。此方法會返回一個RunningJob對象，它用來跟蹤作業的狀態。作業提交完畢后，JobClient會根據此對象開始輪詢作業的進度，直到作業完成。 submitJob(job)內部是通過submitJobInternal(job)方法完成實質性的作業提交。 submitJobInternal(job)方法首先會向hadoop分布系統文件系統hdfs依次上傳三個文件: job.jar, job.split和job.xml。

本文以虛擬機安裝hadoop集群為例!!!安裝過程

主要內容實驗平臺簡介Hadoop環境搭建MapReduce編程實驗平臺簡介采用XenServer分布式部署Hadoop浪潮380D5臺虛擬機（CentOS）采用VirtualBox分布式部署Hadoop PC5 臺虛擬機（CentOS）采用XenServer分布式部署Hadoop采用VirtualBox分布式部署Hadoop Hadoop環境搭建Hadoop的三種部署模式Hadoop完全分布式部署HDFS節點故障演示Hadoop的三種部署模式。

主要內容Hadoop項目簡介HDFS體系結構HDFS關鍵運行機制Hadoop VS.Google（分布式文件系統）Hadoop API Hadoop環境搭建Hadoop項目簡介Apache的解決方案Google云計算MapReduce Big Table

使用SSH協議將namenode的公鑰信息authorized_keys復制到所有DataNode的.ssh目錄下(.ssh下最初沒有authorized_keys，如果有，則需要復制追加，后面會講到如何追加)。 root@hadoopName# scp authorized_keys 172.16.18.212:/root/.ssh/ 這樣配置過后，namenode可以無密碼登錄所有datanode，可以通過命令 “ssh 172.16.19.42”來驗證。有些手冊上介紹的配置方法與此不一致，但是這種方法是成功的。很多手冊到此步SSH配置就完成了，但是我實驗時發現不能正常啟動hadoop，所以我還繼續做了配置。

1.模型介紹：Hadoop簡介Map Reduce計算模型2.實例分析WordCount Hadoop簡介Hadoop簡介Hadoop是一個開源分布式計算平臺，它實現了Map/Reduce計算模型。借助于Hadoop,程序員可以輕松地編寫分布式并行程序，將其運行于計算機集群上，完成海量數據的計算。Hadoop簡介分布式并行編程概念基于集群的分布式并行編程能夠讓軟件與數據同時運行在連成一個網絡的許多臺計算機上,由此獲得海量計算能力。Hadoop簡介迎接編程方式的變革1.摩爾定律正在失效根據摩爾定律，約每隔18個月，CPU性能會提高一倍。然而，由于晶體管電路已經逐漸接近其物理上的性能極限，摩爾定律在2005年左右開始失效。2.分布式并行編程互聯網時代的到來，將使軟件編程方式發生重大變革，基于大規模計算機集群的分布式并行編程是將來軟件性能提升的主要途徑。

我們要做的是完成在Windows下遠程調用Hadoop服務器集群，不過還是覺得Linux下更好用一些。 首先從hadoop-0.20.0的開發包中拷貝hadoop-0.20.0-eclipse-plugin.jar到Eclipse的plugins目錄下面，重啟Eclipse，就會發現視圖里面多了一個Map/Reduce選項