Hadoop是一個開發和運行處理大規模數據的軟件平臺,是Apache的一個用java語言實現開源軟件框架，Hadoop集群是一種專門為存儲和分析海量非結構化數據而設計的特定類型的集群。本質上，它是一種計算集群，即將數據分析的工作分配到多個集群節點上，從而并行處理數據。Hadoop框架中最核心設計就是：HDFS和MapReduce.

本教程使用Ubuntu12.0464位作為系統環境（Ubuntu14.04也行，32位、64位均可），請自行安裝系統裝好了Ubuntu系統之后，在安裝Hadoop前還需要做一些必備工作。

架構師和開發人員通常會使用一種軟件工具，用于其特定的用途軟件開發。例如，他們可能會說，Tomcat是Apache Web服務器，MySQL是一個數據庫工具。

Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子項目發展而來，現在已經成為了 Apache 的頂級項目。Zookeeper 為分布式系統提供了高效可靠且易于使用的協同服務，它可以為分布式應用提供相當多的服務，諸如統一命名服務，配置管理，狀態同步和組服務等。 Zookeeper 接口簡單，開發人員不必過多地糾結在分布式系統編程難于處理的同步和一致性問題上，你可以使用 Zookeeper 提供的現成(off-the-shelf)服務來實現分布式系統的配置管理，組管理，Leader 選舉等功能。

移動大數據技術在互聯網金融獲客及經營中的應用互聯網金融面對的？什么是互聯網金融互聯網金融需要解決的問題案例分析諸多的功能，在客戶的喜好和公司利潤方面如何平衡？諸多的投放渠道，如何選擇，大咖一定高效嗎？諸多的頁面，頁面順序與客戶習慣的關系？諸多的用戶，在異常出現時如何在漫天吐槽前發現？諸多的用戶，如何精準找到金融產品的目標客戶群？解決方案大數據技術以及架構大數據處理技術大數據處理技術傳統技術體系和缺陷大集群構建成本高昂多維交叉計算能力低效架構不靈活無法自定義指標數據二義性標實時指標和批指標不一致第一代大數據處理架構：大數據處理技術查詢和多維交叉高效率（性能）

Hadoop是Apache軟件基金會所開發的并行計算框架與分布式文件系統。最核心的模塊包括Hadoop Common、HDFS與MapReduce。HDFS是Hadoop分布式文件系統（Hadoop Distributed File System）的縮寫，為分布式計算存儲提供了底層支持。采用Java語言開發，可以部署在多種普通的廉價機器上，以集群處理數量積達到大型主機處理性能。HDFS采用master/slave架構。一個HDFS集群包含一個單獨的NameNode和多個DataNode。NameNode作為master服務，它負責管理文件系統的命名空間和客戶端對文件的訪問。NameNode會保存文件系統的具體信息，包括文件信息、 文件被分割成具體block塊的信息、以及每一個block塊歸屬的DataNode的信息。對于整個集群來說，HDFS通過NameNode對用戶提供 了一個單一的命名空間。DataNode作為slave服務，在集群中可以存在多個。通常每一個DataNode都對應于一個物理節點。DataNode負責管理節點上它們擁有 的存儲，它將存儲劃分為多個block塊，管理block塊信息，同時周期性的將其所有的block塊信息發送給NameNode。

第一次搞hadoop，折騰我2天，功夫不負有心人，終于搞好了，現在來分享下，我的環境操作系統：wmv虛擬機中的ubuntu12.04hadoop版本：hadoop-1.0.4(聽說是穩定版就下了)eclipse版本：eclipse-jee-indigo-SR2-win321.先安裝好jdk，然后配置好jdk的環境變量，在這里我就不累贅了！網上多的是2.安裝ssh這個也不用說了

在HBase中一個row對應的相同的列只會有一行。使用scan或get得到都是最新的數據，如果我們對這某一row所對應的列進行了更改操作后，并不會多生成一條數據，不會像數據庫一樣，插入時多生成一條記錄，在HBase中對同一條數據的修改或插入都只是put操作，最終看到的都是最新的數據，其它的數據在不同的version中保存，默認是隱藏的，通過時間戳區分，Hbase默認保存最近的三個版本，如何才能看到這些舊版本的數據了？

Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子項目發展而來，現在已經成為了 Apache 的頂級項目。Zookeeper 為分布式系統提供了高效可靠且易于使用的協同服務，它可以為分布式應用提供相當多的服務，諸如統一命名服務，配置管理，狀態同步和組服務等。 Zookeeper 接口簡單，開發人員不必過多地糾結在分布式系統編程難于處理的同步和一致性問題上，你可以使用 Zookeeper 提供的現成(off-the-shelf)服務來實現分布式系統的配置管理，組管理，Leader 選舉等功能。

Spark采用一個統一的技術堆棧解決了云計算大數據的如流處理、圖技術、機器學習、NoSQL查詢等方面的所有核心問題，具有完善的生態系統，這直接奠定了其一統云計算大數據領域的霸主地位；

這是一個典型的網絡流模型。