主要內容1、HDFS2、MapReduce3、HBase為什么要提出云計算1、從一些趨勢入手；2、并行計算現在存在的一些問題；云計算和其他技術的對比1、對比2、提出其演進的過程一些基本概念的介紹1、分布化2、hadoop流（基本概念以及其作用）3、hadoop管道（基本概念以及其作用）第二章hadoop分布式文件系統1、基本概念（什么是HDFS）2、優勢是什么？3、同時需要改進的地方是什么？（有些是后面的HBase可以解決的）基本概念1、什么是流式數據？（可以聯系多播來講）2、數據塊（采用抽象塊，有什么好處呢？）

1. 是否寫WAL日志，對于Hbase的批量入庫性能有較大影響。是否采用需要多方面的權衡。<br> 2. 順序訪問時，所費時間是毫秒級。<br> 3. 很顯然，并發數越少，訪問所費時間越長。并發數為5時，所費時間不超過2秒。<br> 4. 用SingleColumnValueFilter等Filter方式進行過濾查詢，效率低，海量數據下難以達到一般業務需求。測試1000萬以上數據，查詢一個號碼（如：13621217968）的匹配，需要110122 milseconds+。

開始研究一下開源項目hadoop，因為根據本人和業界的一些分析，海量數據的分布式并行處理是趨勢，咱不能太落后，雖然開始有點晚，呵呵。首先就是安裝和一個入門的小實例的講解，這個恐怕是我們搞軟件開發的，最常見也最有效率地入門一個新鮮玩意的方式了，廢話不多說開始吧。 件file01和file02:$ec

Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。 Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性（fault-tolerent）的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。

Hadoop 是一個能夠對大量數據進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴于社區服務器，因此它的成本比較低，任何人都可以使用。

說明：本文檔主要側重hadoop和hbase在windows下的開發.在linux上開發自行修改即可.

一準備工作準備4臺ubuntu操作系統的linux服務器，要求系統版本遺址Jdk1.6,hadoop0.20.2安裝包,ssh為系統都統一創建一個名稱相同的用戶二搭建工作環境2.1安裝jdk1.6(不做詳細介紹)2.2實現ssh無密碼驗證1．終端輸入ssh-keygen–trsa–P2.直接回車采用默認路徑。生成的密鑰對：id_rsa和id_rsa.pub，默認存儲在“/home/hadoop/.ssh”目錄下

主要內容應用背景Hadoop簡介HDFS設計目標HDFS系統結構HDFS實現原理典型實例應用背景需求每天上TB的日志需要存儲備份需從浩瀚的日志中挖掘和分析數據問題數據量太大，機器不多搞不定。配置好的服務器很貴，只能選擇使用每TB成本低的機器。機器多了，“毛病”花樣百出。

提綱基礎知識Hadoop調度流程Hadoop自帶調度器介紹編寫自己的Hadoop調度器總結基礎知識基礎知識heartbeatTaskTracker周期性（默認為3s）調用RPC向JobTracker匯報信息，形成heartbeat匯報信息包括TaskTracker狀態信息、Task運狀況等Slot資源劃分單位分為mapslot和reduceslot兩種由參數。

司目錄HDFS文件系統與HDFS窺探內部結構運行正常流程/非正常流程/發現異常MapReduce參與計算角色窺探JOB運行MR提供重寫接口配置參數調優Hadoop組成HDFS文件系統HDFS什么是文件系統文件系統：操作系統用于明確磁盤或分區上的文件的方法和數據結構；即在磁盤上組織文件的方法。

一．Hadoop核心角色hadoop框架Hadoop使用主/從（Master/Slave）架構，主要角色有NameNode，DataNode，secondaryNameNode，JobTracker，TaskTracker組成。其中NameNode，secondaryNameNode，JobTracker運行在Master節點上，DataNode和TaskTracker運行在Slave節點上。?1，NameNodeNameNode是HDFS的守護程序，負責記錄文件是如何分割成數據塊的，以及這些數據塊被存儲到哪些數據節點上。它的功能是對內存及I/O進行集中管理。

Streaming框架允許任何程序語言實現的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平臺移植。因此可以說對于hadoop的擴展性意義重大，今天簡單說一下。<br> Streaming的原理是用Java實現一個包裝用戶程序的MapReduce程序，該程序負責調用MapReduce Java接口獲取key/value對輸入，創建一個新的進程啟動包裝的用戶程序，將數據通過管道傳遞給包裝的用戶程序處理，然后調用MapReduce Java接口將用戶程序的輸出切分成key/value對輸出。

CentOS6.2下Hadoop全分布式集群配置文檔集群網絡環境介紹集群包含三個hadoop節點：1個namenode、2個datanode。節點之間局域網連接，可以互相ping通，并且配置了節點之間互相無密碼ssh訪問。節點IP地址如下：NameNode：192.168.15.102主機名：masterDataNode1：192.168.15.103主機名：slaver1DataNode2：192.168.15.105主機名：slaver2說明：105機器能ping通，但是ssh連接上去短暫的一段時間后自動斷開，必須105用ssh訪問其他網絡之后，才能再次連接上。檢查防火墻等各種原因之后未能解決。（望大家提供指導）三臺機器系統均為CentOs6.2簡體中文版。并且都新建了一個MDSS用戶作為hadoop用戶，其hadoop都安裝在/home/MDSS/hadoop目錄下。

IBM、Google、VMWare 和 Amazon 等公司已經開始提供云計算產品和戰略。本文講解如何使用 Apache Hadoop 構建一個 MapReduce 框架以建立 Hadoop 集群，以及如何創建在 Hadoop 上運行的示例 MapReduce 應用程序。還將討論如何在云上設置耗費時間/磁盤的任務。

們每天都依賴搜索引擎以從 Internet 的海量數據中找到特定的內容，但您曾經想過這些搜索是如何執行的嗎？一種方法是 Apache 的 Hadoop，它是一個能夠對海量數據進行分布式處理的軟件框架。Hadoop 的一個應用是并行索引 Internet Web 頁面。Hadoop 是一個受到 Yahoo!、Google 和 IBM 等公司支持的 Apache 項目。本文將介紹 Hadoop 框架，并展示它為什么是最重要的基于 Linux 的分布式計算框架之一。

本文介紹了Hadoop架構的主要構成，通過一個實例詳細闡述了Hadoop架構的MapReduce實現機制；開發了一個基于Hadoop架構職工工資統計應用實例，并根據該實例分析了其在單節點模式、偽分布模式和完全分布模式應用中的運行效率。

Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作為 Lucene 的子項目 Nutch 的一部分正式引入。它受到最先由 Google Lab 開發的 MapReduce 和 Google File System 的啟發。2006 年 3 月份，MapReduce 和 Nutch Distributed File System (NDFS) 分別被納入稱為 Hadoop 的項目中。<br> Hadoop并不僅僅是一個用于存儲的分布式文件系統，而是設計用來在由通用計算設備組成的大型集群上執行分布式應用的基礎框架。它由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。

：以下指南均在ubuntu下，如果你是win+cygywin模式，可能有差別（沒研究不多說），僅供參考，如有誤人之處還望指正。別看區區一個插件，還真是復雜，光是版本問題就搗鼓了好長時間，網上也沒有成熟的案例都在討論+詢問，我這現在搗鼓明白了，跟大家分享一下

Mapreduce是一個簡單易用的編程框架，基于Map-reduce寫出的程序可以同時運行在由成千上萬臺計算機組成的計算集群上。就算您不懂得并行編程，不懂套接字，您一樣可以控制多臺計算機同時處理數據。 在Mapreduce OnlineEvaluation上，您可以選擇題目，編寫相應的mapreduce程序，體驗云平臺的編程環境并很方便地學習編寫mapreduce程序。

Hadoop項目簡介； HDFS體系結構； HDFS關鍵運行機制； Hadoop VS.Google（分布式文件系統）； Hadoop API； Hadoop環境搭建。