和一些集成管理 Powershell 腳本）。同時也提供庫給MapReduce 和 LINQ to Hive。后者更有趣，因為是建立在現有的技術上，.NET 開發者可以訪問大部分的數據源，提供 Hadoop

特性：一個HDFS的文件瀏覽器，一個MapReduce/YARN的Job瀏覽器，一個 HBas的瀏覽器，Hive，Pig，Cloudera Impala 和 Sqoop2 的查詢編輯器。 它還附帶了一個O

QL查詢。 項目特性 可選的用戶訪問控制 SQL語法高亮 查詢結果導出到CSV文件，或者存到Hive表中 可查看SQL查詢的歷史記錄 可保存查詢 根據表名搜索對應的表 可查看表結構，并預覽前1000行數據

主要的作用是處理 Hadoop 上的“大數據”或者分析你的本地電腦， Cascalog 是替代 Pig 和 Hive 的工具，而且比這些工具都有更高的抽象級別。 跟著 Cascalog 開始步驟做，五分鐘就可以玩轉

APIs：RDD, DataFrame 和 SQL 后端執行：DataFrame 和 SQL 集成：數據源，Hive, Hadoop, Mesos 和集群管理 R 語言 機器學習和高級分析 Spark Streaming

on，在外圍有NoSQL: Cassandra, HBase, 有Facebook開發的數據倉庫Hive，有Yahoo主力研發的Pig工作流語言，有機器學習算法庫Mahout，工作流管理軟件Oozie，在很多

HDFS，MapReduce，Common，在外圍有NoSQL:?Cassandra,?HBase,?有Facebook開發的數據倉庫Hive， 有Yahoo主力研發的Pig工作流語言，有機器學習算法庫Mahout，工作流管理軟件Oozi

Data Sources API：通過Spark SQL的數據源API，API SparkR可以從包括Hive tables、JSON files、Parquet files等各種來源中讀取數據。 Data

Sqoop 的幫助下，輕松地把關系型數據庫的數據導入到 Hadoop 與其相關的系統 (如HBase和Hive)中；同時也可以把數據從 Hadoop 系統里抽取并導出到關系型數據庫里。除了這些主要的功能外，Sqoop

(SQL)OpenTSDB (metrics)MapReduce (Batch)iStream (Streaming)Hive (SQL)Ganglia & MonitorOtherHQueue (Queue)Application

的公共 API 上，借用 HBase 既有的能力實現所需的功能，這一點和 Hive On Hbase 有些類似。與 Hive 不同的是， kiji 表的 Metadata 信息也是以 HBase 表的形式存在的。所以

。在計算的方面，目前HDInsight提供了3種不同的Cluster類型，標準的 Hadoop(HIVE)，HBaseCluster，StormCluster，未來Azure還會根據用戶的需求引入其他Hadoop的集群。每種不

2.根據lac、ci關聯小區表，得出結果為 手機號碼、lac、ci、省、市、小區、總流量 ? hive執行 總時間 = 42.618 seconds? + 743.56 seconds? =?786

周期性把日志數據導入到hdfs中 周期性把明細日志導入hbase存儲 周期性使用hive進行數據的多維分析 周期性把hive分析結果導入到mysql中 28. 案例三：Hadoop在淘寶的應用搜索計算平臺架構

MapReduce 技術。雖然 Apache 項目和 Hadoop 商業發行版本試圖通過 HBase 、 Hive 和 下一代 MapReduce （亦 即 YARN）彌補 Hadoop 的短板。但筆者認為只有用全新的，非

擁有一套完善的大數據技術生態系統用于用戶數據的分析和挖掘。Netflix不僅使用 Hadoop、Hive、Pig、Parquet、Presto以及Spark等被廣泛采用的開源技術，同時還開發并貢獻了一些其他的工具和服務。

的公司”的第一步;有時，或許你僅僅需要一份漂亮的報告。“企業級數據中心”通常由HDFS文件系統和HIVE或IMPALA中的表組成。未來，HBase和Phoenix在大數據整合方面將大展拳腳，打開一個新的局面，創建出全新的數據美麗新世界。

式，名稱不會與主要功能實際相關，而是採用與大象或其他動物有關的名稱作為其開發代號，像是 Pig、Hive、ZooKeeper 等等。 什么是 Hadoop? 首先，想像有個檔案大小超過 PC 能夠

海量數據的存儲和分析，其它的項目，例如Hive、HBase等都是基于HDFS和MapReduce，是為了解決特定類型的大數據處理問題而提出的子項目，使用Hive、HBase等子項目可以在更高的抽象的基

non-example source linesShark* Streaming* also calls into Hive 29. 60000 40000 20000 0Code Size 140000 120000 100000