hadoop家族介紹

簡介

Apache Hadoop是一款支持數據密集型分布式應用并以Apache 2.0許可協議發布的開源軟件框架。它支持在商品硬件構建的大型集群上運行的應用程序。Hadoop是根據Google公司發表的MapReduce和Google檔案系統的論文自行實作而成。

Hadoop框架透明地為應用提供可靠性和數據移動。它實現了名為MapReduce的編程范式：應用程序被分割成許多小部分，而每個部分都能在 集群中的任意節點上執行或重新執行。此外，Hadoop還提供了分布式文件系統，用以存儲所有計算節點的數據，這為整個集群帶來了非常高的帶寬。 MapReduce和分布式文件系統的設計，使得整個框架能夠自動處理節點故障。它使應用程序與成千上萬的獨立計算的電腦和PB級的數據。

常用的項目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。

關系圖如下：

各項目簡介

• Apache Hadoop : 是Apache開源組織的一個分布式計算開源框架，提供了一個分布式文件系統子項目(HDFS)和支持MapReduce分布式計算的軟件架構。
• Apache Hive : 是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。
• Apache Pig : 是一個基于Hadoop的大規模數據分析工具，它提供的SQL-LIKE語言叫Pig Latin，該語言的編譯器會把類SQL的數據分析請求轉換為一系列經過優化處理的MapReduce運算。
• Apache HBase : 是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。
• Apache Sqoop : 是一個用來將Hadoop和關系型數據庫中的數據相互轉移的工具，可以將一個關系型數據庫（MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型數據庫中。
• Apache Zookeeper : 是一個為分布式應用所設計的分布的、開源的協調服務，它主要是用來解決分布式應用中經常遇到的一些數據管理問題，簡化分布式應用協調及其管理的難度，提供高性能的分布式服務
• Apache Mahout :是基于Hadoop的機器學習和數據挖掘的一個分布式框架。Mahout用MapReduce實現了部分數據挖掘算法，解決了并行挖掘的問題。
• Apache Cassandra :是一套開源分布式NoSQL數據庫系統。它最初由非死book開發，用于儲存簡單格式數據，集Google BigTable的數據模型與Amazon Dynamo的完全分布式的架構于一身
• Apache Avro : 是一個數據序列化系統，設計用于支持數據密集型，大批量數據交換的應用。Avro是新的數據序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機制
• Apache Ambari : 是一種基于Web的工具，支持Hadoop集群的供應、管理和監控。
• Apache Chukwa : 是一個開源的用于監控大型分布式系統的數據收集系統，它可以將各種各樣類型的數據收集成適合 Hadoop 處理的文件保存在 HDFS 中供 Hadoop 進行各種 MapReduce 操作。
• Apache Hama : 是一個基于HDFS的BSP（Bulk Synchronous Parallel)并行計算框架, Hama可用于包括圖、矩陣和網絡算法在內的大規模、大數據計算。
• Apache Flume : 是一個分布的、可靠的、高可用的海量日志聚合的系統，可用于日志數據收集，日志數據處理，日志數據傳輸。
• Apache Giraph : 是一個可伸縮的分布式迭代圖處理系統， 基于Hadoop平臺，靈感來自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
• Apache Oozie : 是一個工作流引擎服務器, 用于管理和協調運行在Hadoop平臺上（HDFS、Pig和MapReduce）的任務。
• Apache Crunch : 是基于Google的FlumeJava庫編寫的Java庫，用于創建MapReduce程序。與Hive，Pig類似，Crunch提供了用于實現如連接數據、執行聚合和排序記錄等常見任務的模式庫
• Apache Whirr : 是一套運行于云服務的類庫（包括Hadoop），可提供高度的互補性。Whirr學支持Amazon EC2和Rackspace的服務。
• Apache Bigtop : 是一個對Hadoop及其周邊生態進行打包，分發和測試的工具。
• Apache HCatalog : 是基于Hadoop的數據表和存儲管理，實現中央的元數據和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供關系視圖。
• Cloudera Hue : 是一個基于WEB的監控和管理系統，實現對HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。