Hadoop 是Google MapReduce的一個Java實現。MapReduce是一種簡化的分布式編程模式，讓程序自動分布到一個由普通機器組成的超大集群上并發執行。就如同java程序員可以不考慮內存泄露一樣， MapReduce的run-time系統會解決輸入數據的分布細節，跨越機器集群的程序執行調度，處理機器的失效，并且管理機器之間的通訊請求。這樣的模式允許程序員可以不需要有什么并發處理或者分布式系統的經驗，就可以處理超大的分布式系統得資源。

Hadoop的MongoDB適配器。需要MongoDB Java Driver 2.7.3+支持。

Hadoop的搭建

一 般來說，計算機處理的數據都存在一些冗余度，同時數據中間，尤其是相鄰數據間存在著相關性，所以可以通過一些有別于原始編碼的特殊編碼方式來保存數據， 使數據占用的存儲空間比較小，這個過程一般叫壓縮。和壓縮對應的概念是解壓縮，就是將被壓縮的數據從特殊編碼方式還原為原始數據的過程。

1.基礎包（包括工具包和安全包） 包括工具和安全包。其中，hdfs.util包含了一些HDFS實現需要的輔助數據結構；hdfs.security.token.block和hdfs.security.token.delegation結合Hadoop的安全框架，提供了安全訪問HDFS的機制。

hadoop的運行原理：hadoop主要由三方面組成: 1、HDFS 2、MapReduce 3、Hbase Hadoop框架中最核心的設計就是：MapReduce和H...

　　節點是通過心跳來告訴master?自己還存活的。而在這之前，我做了一個測試，加了一個新節點到集群中，后來又把節點給刪了，hosts（這個hosts應該是指被刪除節點的host吧）?的文件也被改了，會不會是這個節點還在往master?發送心跳？SSH?到那個新節點上，jps?看一下任務，task tracker?果然還活著！把這個進程kill?掉，問題就OK?了。

Hadoop 一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲 。<br> Hadoop是項目的總稱，主要是由分布式存儲（HDFS）、分布式計算（MapReduce）組成 。<br> Hadoop程序目前只能運行在Linux系統上，window上運行需要安裝其他插件，安裝過程見《hadoop安裝說明.docx》 。

Hadoop 源起: Apache Lucene 開源的高性能全文檢索工具包 Apache Nutch 開源的 Web 搜索引擎 Google 三大論文 MapReduce / GFS / BigTable Apache Hadoop 大規模數據處理 Hadoop 核心: Hadoop Common 分布式文件系統HDFS MapReduce框架

Hadoop項目簡介； HDFS體系結構； HDFS關鍵運行機制； Hadoop VS.Google（分布式文件系統）； Hadoop API； Hadoop環境搭建。

Hadoop項目簡介； HDFS體系結構； HDFS關鍵運行機制； Hadoop VS.Google（分布式文件系統）； Hadoop API； Hadoop環境搭建。

支持平臺 GNU/Linux是產品開發和運行的平臺。 Hadoop已在有2000個節點的GNU/Linux主機組成的集群系統上得到驗證。 Win32平臺是作為 開發平臺 支持的。由于分布式操作尚未在Win32平臺上充分測試，所以還不作為一個 生產平臺 被支持。 所需軟件 Linux 和 Windows 所需軟件包括 : Java TM 1.5.x，必須安裝，建議選擇Sun公司發行的Java版本。

著名音樂站點Last.fm發布了基于Python的Dumbo（小 飛象）項目，Dumbo能夠幫助Python開發者更方便的編寫Hadoop應用，并且Dumbo為MapReduce應用提供了靈活易用的Python API。

hfds 是一種文件系統，用于存儲hadoop將要處理的數據。適用于大規模分布式數據處理，是一個可擴展行的文件分布式系統；

報告內容：Hadoop核心：1、Hadoopdfs（Hdfs），MapReduce分布式并行計算模型。2、Hadoop擴展，Hadoopbase（Hbase）基于hadoop核心的高擴展性分布式數據庫。Pig-一種高級數據流語言和并行計算的執行框架，也基于hadoop核心，Hive-建立在hadoop之上的數據倉庫基礎設施，提供數據摘要，adhocquerying，數據集分析。

HDFS為了做到可靠性（reliability）創建了多份數據塊（datablocks）的復制（replicas），并將它們放置在服務器群的計算節點中（computenodes），MapReduce就可以在它們所在的節點上處理這些數據了。

HDFS為了做到可靠性（reliability）創建了多份數據塊（data blocks）的復制（replicas），并將它們放置在服務器群的計算節點中（compute nodes），MapReduce就可以在它們所在的節點上處理這些數據了。

主要內容Hadoop項目簡介HDFS體系結構HDFS關鍵運行機制Hadoop VS.Google（分布式文件系統）Hadoop API Hadoop環境搭建Hadoop項目簡介Apache的解決方案Google云計算MapReduce Big Table

報告內容：Hadoop核心、Hadoopdfs（Hdfs）、MapReduce分布式并行計算模型Hadoop擴展Hadoopbase（Hbase）基于hadoop核心的高擴展性分布式數據庫Pig-一種高級數據流語言和并行計算的執行框架，也基于hadoop核心Hive-建立在hadoop之上的數據倉庫基礎設施，提供數據摘要，adhocquerying，數據集分析。HadoopDFS（HDFS）HDFS:技術背景數據海量化趨勢催生了DFS應用單機無法存放，大數據集被分割存儲文件系統對跨機器的數據集進行統一管理實現的復雜度遠大于本地存儲系統，例如：錯誤處理HDFS是一種實現超大文件的存儲，流式數據訪問，運行于普通商業集群。