Hadoop介紹：Hadoop是一個分布式計算基礎架構下的相關子項目的集合；Hadoop是由Apache軟件基金會支持；Hadoop中的MapReduce，HDFS，HBASE是基于Google發布的MapReduce，GFS，Bigtable設計實現；2004年，最初版本的由DougCutting和MikeCafarella開始實施；2006年，Yahoo網絡計算團隊采用Hadoop。HDFS塊的概念64MB（尋址時間和傳輸時間）；塊副本，一般有2個；名稱節點與數據節點（Namenode與Datanode）名稱節點只有一個，記錄數據文件和數據塊的信息；

Hadoop包括hdfs與mapreduce兩部分，在使用期期間我主要看了mapreduce部分，即hadoop執行作業的部分。mapreduce中幾個主要的概念mapreduce整體上可以分為這么幾條執行的線索，jobclient，JobTracker與TaskTracker。

在Microsoft Windows XP操作系統下,安裝Ubuntu8.04 lts server版本+xubuntu桌面到VMware虛擬機上。

Hadoop與數據分析淘寶。Hadoop基本概念；Hadoop的應用范圍；Hadoop底層實現原理；Hive與數據分析；Hadoop集群管理；典型的Hadoop離線分析系統架構；常見問題及解決方案。

在windows上配置Hadoop需要做一些準備，包括軟件的下載，了解Hadoop運行的條件，了解Hadoop在Linux與windows平臺上的不同。 Hadoop安裝需要的基礎東西有，Hadoop安裝包，jdk開發工具，Cygwin安裝程序。 其中jdk最好在1.6版本以上，考慮到兼容性以及功能的完整性我們選擇Hadoop-0.20.2版本；因為由于我們是模擬Linux平臺配置Hadoop所以需要先在電腦上安裝Cygwin，提供其他軟件之外的shell支持，安裝時可以選擇從你下載的Cygwin安裝包目錄安裝也可以選擇從Internet上直接安裝，從Internet上安裝可能需要更長的時間，下面我們會詳細介紹。

本文檔主要側重hadoop和hbase在windows下的開發.在linux上開發自行修改即可.

Apache Hadoop項目開發可靠的、可擴展的（Scalable）、分布式計算的開源軟件。Apache Hadoop軟件庫是一個框架，使用簡單的編程模型，用于對跨計算機集群的大數據集進行分布式處理。使用Apache Hadoop軟件庫，可以從單個服務器擴展到上千臺服務器，每臺服務器都提供本地的計算后存儲。ApacheHadoop軟件庫不再依賴于硬件實現高可用性，Apache Hadoop軟件庫可以檢測并處理應用層的失效，從而在計算機集群之上提供高可用性服務。

Google的十個核心技術，而且可以分為四大類： 分布式基礎設施：GFS、Chubby 和 Protocol Buffer。 分布式大規模數據處理：MapReduce 和 Sawzall。 分布式數據庫技術：BigTable 和數據庫 Sharding。 數據中心優化技術：數據中心高溫化、12V電池和服務器整合。

Hadoop分布式文件系統(HDFS)被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統。它和現有的分布式文件系統有很多共同點。但同時，它和其他的分布式文件系統的區別也是很明顯的。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。HDFS放寬了一部分POSIX約束，來實現流式讀取文件系統數據的目的。HDFS在最開始是作為Apache Nutch搜索引擎項目的基礎架構而開發的。HDFS是Apache Hadoop Core項目的一部分。這個項目的地址是http://hadoop.apache.org/core/。

Map/Reduce是一個用于大規模數據處理的分布式計算模型，它最初是由Google工程師設計并實現的，Google已經將它完整的MapReduce論文公開發布了。其中對它的定義是，Map/Reduce是一個編程模型（programming model），是一個用于處理和生成大規模數據集（processing and generating large data sets）的相關的實現。用戶定義一個map函數來處理一個key/value對以生成一批中間的key/value對，再定義一個reduce函數將所有這些中間的有著相同key的values合并起來。很多現實世界中的任務都可用這個模型來表達。 Hadoop的Map/Reduce框架也是基于這個原理實現的，下面簡要介紹一下Map/Reduce框架主要組成及相互的關系。

本文檔主要是針對Hadoop最基本知識的了解，對于剛剛接觸Hadoop學習過程中的總結。Hadoop是什么Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統（HadoopDistributedFileSystem），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上。

本文檔主要是針對Hadoop最基本知識的了解，對于剛剛接觸Hadoop學習過程中的總結。Hadoop是什么Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應用程序的數據，適合那些有著超大數據集（largedataset）的應用程序。

Hadoop項目簡介； HDFS體系結構； HDFS關鍵運行機制； Hadoop VS.Google（分布式文件系統）； Hadoop API； Hadoop環境搭建。

數據分析選型歷程； Hadoop簡介； 系統架構； 集群介紹； 近期對Hadoop的改造實踐。

在使用hadoop的時候，可能遇到各種各樣的問題，然而由于hadoop的運行機制比較復雜，因而出現了問題的時候比較難于發現問題。本文欲通過某種方式跟蹤Hadoop的運行痕跡，方便出現問題的時候可以通過這些痕跡來解決問題。

一、客戶端Map-Reduce的過程首先是由客戶端提交一個任務開始的。提交任務主要是通過JobClient.runJob(JobConf)靜態函數實現的。

1、Map-Reduce的邏輯過程假設我們需要處理一批有關天氣的數據，其格式如下：按照ASCII碼存儲，每行一條記錄每一行字符從0開始計數，第15個到第18個字符為年第25個到第29個字符為溫度，其中第25位是符號+/-。

Hadoop學習總結之二：HDFS讀寫過程解析

HDFS(Hadoop Distributed File System)默認的最基本的存儲單位是64M的數據塊。和普通文件系統相同的是，HDFS中的文件是被分成64M一塊的數據塊存儲的。不同于普通文件系統的是，HDFS中，如果一個文件小于一個數據塊的大小，并不占用整個數據塊存儲空間。

錯誤1：bin/hadoop dfs 不能正常啟動，持續提示： INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s). 原因：由于 dfs 的部分文件默認保存在tmp文件夾，在系統重啟時被刪除。 解決：修改core-site.xml 的 hadoop.tmp.dir配置文件路徑：/home/hadoop/tmp。