1：大規模數據處理的問題1990年，一個普通的硬盤驅動器可存儲1370MB的數據并擁有4.4MB/s的傳輸速度，所以，只需五分鐘的時間就可以讀取整個磁盤的數據。20年過去了，1TB級別的磁盤驅動器是很正常的，但是數據傳輸的速度卻在100MB/s左右。所以它需要花兩個半小時以上的時間讀取整個驅動器的數據。從一個驅動器上讀取所有的數據需要很長的時間，寫甚至更慢。如何解決？一個很簡單的減少讀取時間的辦法是同時從多個磁盤上讀取數據。試想一下，我們擁有100個磁盤，每個存儲百分之一的數據。如果它們并行運行，那么不到兩分鐘我們就可以讀完所有的數據。2：Hadoop的由來談到Hadoop就不得不提到Lucene和Nutch。

常見的Hadoop開發環境架構有以下三種：Eclipse與Hadoop集群在同一臺Windows機器上。Eclipse與Hadoop集群在同一臺Linux機器上。Eclipse在Windows上，Hadoop集群在遠程Linux機器上。點評：第一種架構：必須安裝cygwin，Hadoop對Windows的支持有限，在Windows上部署hadoop會出現相當多詭異的問題。第二種架構：Hadoop機器運行在Linux上完全沒有問題，但是有大部分的開發者不習慣在Linux上做開發。

Windows下使用Hadoop實例

第一次搞hadoop，折騰我2天，功夫不負有心人，終于搞好了，現在來分享下，我的環境操作系統：wmv虛擬機中的ubuntu12.04hadoop版本：hadoop-1.0.4(聽說是穩定版就下了)eclipse版本：eclipse-jee-indigo-SR2-win321.先安裝好jdk，然后配置好jdk的環境變量，在這里我就不累贅了！網上多的是2.安裝ssh這個也不用說了

MapReduce詳解及Eclipse遠程連接Hadoop開發MapReduce程序

hadoop搭建與eclipse開發環境設置。　――羅利輝前言1.1目標目的很簡單，為進行研究與學習，部署一個hadoop運行環境，并搭建一個hadoop開發與測試環境。具體目標是：在ubuntu系統上部署hadoop在windows上能夠使用eclipse連接ubuntu系統上部署的hadoop進行開發與測試1.2軟硬件要求注意：Hadoop版本和Eclipse版本請嚴格按照要求。

Hadoop在ubuntu下安裝配置手冊準備工作：基本環境部署：操作系統安裝：Ubuntu，版本為12.0.4，安裝虛擬機。

Hadoop 是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。

目錄一IZPHadoop集群現狀Hadoop應用Hadoop集群維護及出現的問題密級：一：IZPHadoop集群現狀集群規模共大、小2個集群：數據中心和實驗室集群數據中心:1臺NameNode,1臺SecondNameNode,1臺JobTracker，100來臺DataNode共100多臺高配服務器;數據中心又分為10多個機架，每個機架上10多臺服務器;實驗室集群：共10幾臺普通微型機.機器配置名稱節點和第二名稱節點內存不小于90G，硬盤約1TBJobTracker內存不小于20G，硬盤約1TB數據節點內存不小于20G，硬盤不小于10TB槽位分配：每臺機器十多個Map槽位，四至六個Reduce槽位密級。

Centos6Hadoop1.2安裝HelloWorld級Centos6Hadoop安裝筆記單機版安裝系統安裝安裝操作系統的時候，請分好區，盡量給一個空間大的地方使用Hadoop，例如將Hadoop安裝在/opt目錄下，就把/opt目錄盡量分配大空間。安裝SSHCentos系統安裝時，選擇安裝SSH。

本節陳述了這樣的事實：數據量越來越大，并且來源也越來越多，我們面臨的問題是如何有效的存儲和分析它們。DataStorageandAnalysis數據存儲和分析現在面臨這這樣的一個問題：當磁盤的存儲量隨著時間的推移越來越大的時候，對磁盤上的數據的讀取速度卻沒有多大的增長。讀取硬盤上的全部數據會花費比較長的時間，如果是寫操作的話則會更慢。一個解決的辦法是同時讀取多個硬盤上的數據。

hadoop面試小結

Hadoop版本：hadoop-0.21.0<br> Java版本：1.6.0_26<br> 操作系統： CentOS-5.4-x86_64-bin-DVD.iso<br> 三臺機器：一臺做master、兩臺做slave。

Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。

Hadoop文件系統：Hadoop文件系統是一個能夠兼容普通硬件環境的分布式文件系統，和現有的分布式文件系統不同的地方是Hadoop更注重容錯性和兼容廉價的硬件設備，這樣做是為了用很小的預算甚至直接利用現有機器就實現大流量和大數據量的讀取。Hadoop使用了POSIX的設計來實現對文件系統文件流的讀取。HDFS（Hadoop FileSystem）原來是Apache Nutch搜索引擎（從Lucene發展而來）開發的一個部分，后來獨立出來作為一個Apache子項目。Hadoop的假設與目標：硬件出錯，Hadoop假設硬件出錯是一種正常的情況，而不是異常，為的就是在硬件出錯的情況下盡量保證數據完整性。

Hadoop集群搭建機器規格CPU：2個四核2~2.5GHzCPU內存：8~16GBECCRAM(非ECC會產生校驗和錯誤)存儲器：4*1TSATA硬盤（硬盤大小一般是數據量的3—5倍）網絡：千兆以太網PS：namenode一般采用64位硬件，避免32位機java堆3g限制具體規格情況跟數據量有關。

小文件指的是那些size比HDFS的blocksize(默認64M)小的多的文件。如果在HDFS中存儲小文件，那么在HDFS中肯定會含有許許多多這樣的小文件(不然就不會用hadoop了)。而HDFS的問題在于無法很有效的處理大量小文件。任何一個文件，目錄和block，在HDFS中都會被表示為一個object存儲在namenode的內存中，每一個object占用150bytes的內存空間。所以，如果有10million個文件，每一個文件對應一個block，那么就將要消耗namenode3G的內存來保存這些block的信息。

兩臺Ubuntu虛擬機部署Hadoop集群

hadoop實戰(虛擬多臺電腦).

　　節點是通過心跳來告訴master?自己還存活的。而在這之前，我做了一個測試，加了一個新節點到集群中，后來又把節點給刪了，hosts（這個hosts應該是指被刪除節點的host吧）?的文件也被改了，會不會是這個節點還在往master?發送心跳？SSH?到那個新節點上，jps?看一下任務，task tracker?果然還活著！把這個進程kill?掉，問題就OK?了。