Hadoop是一個開發和運行處理大規模數據的軟件平臺,是Apache的一個用java語言實現開源軟件框架，Hadoop集群是一種專門為存儲和分析海量非結構化數據而設計的特定類型的集群。本質上，它是一種計算集群，即將數據分析的工作分配到多個集群節點上，從而并行處理數據。Hadoop框架中最核心設計就是：HDFS和MapReduce.

本教程使用Ubuntu12.0464位作為系統環境（Ubuntu14.04也行，32位、64位均可），請自行安裝系統裝好了Ubuntu系統之后，在安裝Hadoop前還需要做一些必備工作。

架構師和開發人員通常會使用一種軟件工具，用于其特定的用途軟件開發。例如，他們可能會說，Tomcat是Apache Web服務器，MySQL是一個數據庫工具。

第一次搞hadoop，折騰我2天，功夫不負有心人，終于搞好了，現在來分享下，我的環境操作系統：wmv虛擬機中的ubuntu12.04hadoop版本：hadoop-1.0.4(聽說是穩定版就下了)eclipse版本：eclipse-jee-indigo-SR2-win321.先安裝好jdk，然后配置好jdk的環境變量，在這里我就不累贅了！網上多的是2.安裝ssh這個也不用說了

Hadoop 源起: Apache Lucene 開源的高性能全文檢索工具包 Apache Nutch 開源的 Web 搜索引擎 Google 三大論文 MapReduce / GFS / BigTable Apache Hadoop 大規模數據處理 Hadoop 核心: Hadoop Common 分布式文件系統HDFS MapReduce框架

Hadoop原理與實踐Hadoop起源與體系介紹為什么是Hadoop？Hadoop的起源和架構Hadoop能解決什么？Hadoop的體系和版本學習Hadoop的準備Hadoop產生的背景大數據想駕馭這龐大的數據，我們必須了解大數據的特征。

關閉防火墻： （1） 重啟后永久性生效： 開啟：chkconfig iptables on 關閉：chkconfig iptables off （2） 即時生效，重啟后失效： 開啟：service iptables start 關閉：service iptables stop

上就出現了一個類似的解決方案，目前它們都屬于Apache的Hadoop項目，對應的分別是：Chubby-->ZooKeeperGFS-->HDFSBigTable-->HBaseMapReduce-->Hadoop目前，基于類似思想的OpenSource項目還很多，如Facebook用于用戶分析的Hive。HDFS作為一個分布式文件系統，是所有這些項目的基礎。分析好HDFS，有利于了解其他系統。由于Hadoop的HDFS和MapReduce是同一個項目，我們就把他們放在一塊，進行分析。下圖是MapReduce整個項目的頂層包圖和他們的依賴關系。Hadoop包之間的依賴關系比較復雜，原因是HDFS提供了一個分布式文件系統，該系統提供API，可以屏蔽本地文件系統和分布式文件系統，甚至象AmazonS3這樣的在線存儲系統。這就造成了分布式文件系統的實現，或者是分布式文件系統的底層的實現，依賴于某些貌似高層的功能。功能的相互引用，造成了蜘蛛網型的依賴關系。一個典型的例子就是包conf，conf用于讀取系統配置，它依賴于fs，主要是讀取配置文件的時候，需要使用文件系統，而部分的文件系統的功能，在包fs中被抽象了。

本文檔是Hadoop部署文檔,提供了Hadoop單機安裝和Hadoop集群安裝的方法和步驟,本文檔希望讓Hadoop安裝部署更簡單(Easy)。 本安裝文檔適用于 centos 5 /red hat 5.2 32位,64位版本,ubuntu 等操作系統 需要做部分修改。

很快，Apache上就出現了一個類似的解決方案，目前它們都屬于Apache的Hadoop項目，對應的分別是： Chubby-->ZooKeeper GFS-->HDFS BigTable-->HBase MapReduce-->Hadoop 目前，基于類似思想的Open Source項目還很多，如Facebook用于用戶分析的Hive。 HDFS作為一個分布式文件系統，是所有這些項目的基礎。分析好HDFS，有利于了解其他系統。由于Hadoop的HDFS和MapReduce是同一個項目，我們就把他們放在一塊，進行分析。

Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。

基于Hadoop的大數據應用分析5.東軟基于HADOOP的大數據應用建議內容提要1.大數據背景介紹2.HADOOP體系架構3.基于HADOOP的大數據產品分析4.基于HADOOP的大數據行業應用分析IDC定義：為了更為經濟的從高頻率獲取的、大容量的、不同結構和類型的數據中獲取價值，而設計的新一代架構和技術。大數據定義及特點大數據對系統的需求High performance–高并發讀寫的需求高并發、實時動態獲取和更新數據HugeStorage–海量數據的高效率存儲和訪問的需求類似SNS網站，海量用戶信息的高效率實時存儲和查詢

由于具備低成本和前所未有的高擴展性，Hadoop已被公認為是新一代的大數據處理平臺。就像30年前SQL（Structured Query Language）出現一樣，Hadoop正帶來了新一輪的數據革命。如今Hadoop已從初出茅廬的小象變成了行業的巨人，但Hadoop仍需繼續完善。基于Java語言構建的Hadoop框架實際上一種分布式處理大數據平臺，其包括軟件和眾多子項目。在近十年中Hadoop已成為大數據革命的中心。MapReduce作為Hadoop的核心是一種處理大型及超大型數據集（TB級別的數據。包括網絡點擊產生的流數據、日志文件、社交網絡等所帶來的數據）并生成相關的執行的編程模型。