完全開源，免費，非商業。apache社區的hadoop版本分枝較多，而且部分hadoop存在bug。在選擇hadoop，hbase，hive等時，需要考慮兼容性。 Cloudera版本： 開源，免費，有商業和非商業版本。是在apac

景差異也很大，這就產生出很多不同類型的程序(任務)運行在大數據平臺之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python等。 這些任務需要不同的運行環境，并

Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。 然而,最新的官方版本是0.5.0,還不支持R

習、即席查詢（ad-hoc?query）、圖計算等應用，Spark版本比基于MapReduce、Hive和Pregel的實現快上十倍到百倍。其中內存計算、數據本地性?（locality）和傳輸優化、調

Hadoop包含了MapReduce、HDFS、HBase、Hive、Zookeeper、Pig、Sqoop等 ○ BDAS包含了Spark、Shark（相當于Hive）、BlinkDB、Spark Streaming（消息實時處理框架

HBase[6]實現持久化；用Memcached作為MySQL緩存與通用緩存。 用Hadoop和Hive實現離線處理。 類似日志、鏈接與feed之類的數據傳輸用Scribe[7]實現；用Scribe-HDFS

[KYLIN-436] 無法從“default”以外的Hive數據庫同步表，新的版本允許Kylin Cube使用來自不同數據庫的表 2. [KYLIN-412] Hive表沒有讀取權限時的異常處理 3. [KYLIN-508]

0 Chukwa 流水線 原始的數據流水線，唯一目的就是聚合事件，并將其上傳到 Hadoop/Hive 進行批處理。從下圖中也可以看出，架構相當簡單。 Chukwa 收集數據，并以 Hadoop 順序文件格式將它們寫入到

0.2。 我正在補充這兩個參數的TestCase，準備提交到trunk中。 12. 多用hive少用streaming 由于streaming的方便快捷，我們做了很多基于它的開發。但是由于

Hadoop Usage at FacebookData warehouse running Hive 600 machines, 4800 cores, 2.4 PB disk 3200 jobs

YARN。Spark可以與MapReduce運行于同集群中，共享存儲資源與計算，數據倉庫Shark實現上借用Hive，幾乎與Hive完全兼容。 Spark 的核心概念 1、Resilient Distributed

， R 的 shell 中進行交互式查詢。 q ? 支持查詢。 Spark 支持 SQL 及 Hive SQL 對數據查詢。 q ? 支持流式計算。與 MapReduce 只能處理離線數據相比，

Lucene締造者 Hadoop是Apache下的一個開源項目，由 HDFS MapReduce 、 HBase、Hive和ZooKeeper等成員組成Doug Cutting 19. Hadoop已被廣泛所接受Com

Wormhole 是大眾點評的大數據傳輸工具，目前支持類似 hdfs, hive, hbase, mysql, greenplum, sqlserver, mongodb, sftp, salesforce

或多個HBase scan，并編排執行以生成標準的JDBC結果集，對于簡單查詢來說，性能甚至勝過Hive。 項目主頁： http://www.baiduhome.net/lib/view/home/1361323035978

Impala 的首個 beta 版。Impala 允許你在 Hadoop 的 HDFS 、 Hbase 和 Hive 之上運行實時查詢。不必遷移。 來自: Solidot

抽象出表，使用戶不必關心他們的數據怎么存儲。 提供可操作的跨數據處理工具，如Pig，MapReduce，Streaming，和Hive。 項目主頁： http://www.baiduhome.net/lib/view/home/1339233432662

典型大數據計算模式與系統 典型大數據計算模式 典型系統 大數據查詢分析計算 HBase，Hive，Cassandra，Impala，Shark，Hana等 批處理計算 Hadoop?MapReduce，Spark等

Shark ( Hive on Spark): Shark基本上就是在Spark的框架基礎上提供和Hive一樣的H iveQL命令接口，為了最大程度的保持和Hive的兼容性，Shark使用了Hive的API來實現

Map-Reduce an Streaming Jobs 集成 Cascading, HBase, Hive 和 Pig 項目主頁： http://www.baiduhome.net/lib/view/home/1330560406421