• P8

      HBase 技術介紹 文檔

    的計算能力,Zookeeper為HBase提供了穩定服務和failover機制。 此外,Pig和Hive還為HBase提供了高層語言支持,使得在HBase上進行數據統計處理變的非常簡單。 Sqoop則

    duchengli 2012-09-12   438   0
    P8

      HBase分布式數據庫 文檔

    的計算能力,Zookeeper為HBase提供了穩定服務和failover機制。 此外,Pig和Hive還為HBase提供了高層語言支持,使得在HBase上進行數據統計處理變的非常簡單。 Sqoop則

    tony2007 2015-06-19   3862   0

    分布式數據庫,HBase 0.92 發布 資訊

    算能力,Zookeeper為HBase提供了穩定服務和failover機制。 此外,Pig和Hive還為HBase提供了高層語言支持,使得在HBase上進行數據統計處理變的非常簡單。 Sqoop則

    fmms 2012-01-25   30923   0
    HBase  

    用Apache Spark進行大數據處理——第二部分:Spark SQL 經驗

    在這一文章系列的第二篇中,我們將討論Spark SQL庫,如何使用Spark SQL庫對存儲在批處理文件、JSON數據集或Hive表中的數據執行SQL查詢。 Spark大數據處理框架目前最新的版本是上個月發布的Spark 1

    jopen 2015-06-14   77634   0

    HBase技術介紹 經驗

    算能力,Zookeeper為HBase提供了穩定服務和failover機制。 此外,Pig和Hive還為HBase提供了高層語言支持,使得在HBase上進行數據統計處理變的非常簡單。 Sqoop則

    jopen 2015-03-25   23633   0

    HBase之一【HBase基礎】HBase技術介紹 經驗

    算能力,Zookeeper為HBase提供了穩定服務和failover機制。 此外,Pig和Hive還為HBase提供了高層語言支持,使得在HBase上進行數據統計處理變的非常簡單。 Sqoop則

    jopen 2016-01-15   20352   0

    Pig基礎 經驗

    寫操作。 Hive是介于Pig和RDBMS之間的一種數據處理方案,其處理語言HiveQL類似于SQL,這就使得熟悉SQL的人可以快速熟悉和使用Hive。和Pig一樣,Hive的存儲方式也是基于

    jopen 2014-01-28   12576   0

    Presto:Facebook的分布式SQL查詢引擎 資訊

    數據倉庫中的數據存儲在幾個大型的 Hadoop HDFS 的集群上。 Hadoop MapReduce[2]和 Hive 被設計為用于進行大規模、高可靠性的計算,而且這些技術都被優化為用來提高整體系統的吞吐量。但是當我們的數據倉庫增長到

    jopen 2013-11-10   26154   0
    Presto  
    P27

      淘寶數據應用開發平臺idata 文檔

    用戶分類 非技術背景用戶 技術背景用戶 需求分類 ADHOC需求? 類Excel查詢工具 圖形化拖拽 HIVE IDE 數據項目/數據產品? 數據應用開發平臺 數據應用開發平臺 10. 數據字典, 知識庫,

    lxz 2014-01-03   2361   0
    P82

      京東金融大數據分析平臺總體架構-v1.0 文檔

    取數據文件 數據核查,Perl執行文件級數據質量檢查 數據加載,調用Hive Load數據命令,加載到數據平臺臨時數據區的Hive Table組件以實時和批量模式實現下列功能: 數據采集,輪詢NAS集群指定目錄,獲取數據文件(LZO壓縮)

    guet_lee 2017-01-12   6513   0

    Spark性能優化指南——高級篇 經驗

    知道了數據傾斜發生在哪里之后,通常需要分析一下那個執行了shuffle操作并且導致了數據傾斜的RDD/Hive表,查看一下其中key的分布情況。這主要是為之后選擇哪一種技術方案提供依據。針對不同的key分布

    Poppy3869 2016-05-12   39154   0

    思科安全大數據分析框架:OpenSOC 經驗

    支持使用ElasticSearch實現自動化實時索引Telemetry數據流 支持使用Hive利用SQL查詢存儲在Hadoop中的數據 能夠兼容ODBC/JDBC和繼承已有的分析工具

    jopen 2014-12-19   45317   0

    Apache Kylin v1.1 正式發布 資訊

    Calcite至1.4 KYLIN-1047 在Cube構建成功后清理Hive中間文件 KYLIN-589 當Hive返回空值時繼續Cube構建任務 KYLIN-772 支持可配置HBase壓縮算法,包括Snappy及GZip

    jopen 2015-11-02   11617   0

    為Hadoop數據細粒度的、基于角色的認證功能:Apache Sentry 經驗

    Hadoop生態圈中的項目有著各自不同的、需要單獨配置的認證系統。Hadoop的靈活性使得生態圈中不同的項目(如Hive、Solr、 MapReduce,Pig)能訪問相同的數據。由于每個項目的認證配置都是獨立的,管

    jopen 2014-08-24   13274   0

    分布式數據倉庫系統,Apache Tajo v0.9 發布 資訊

    r?Hadoop?2.2.0?up?to?Hadoop?2.5.1,?and expanded?Hive?Metastore?access;? ?-?Improved?catalog?backup?and?restore?feature

    jopen 2014-10-21   7434   0

    數據庫管理工具 DBeaver v4.0.3 發布 資訊

    source, sequences) Hive: table data viewer/exporter fix. Array data type support. Hive Spark driver configuration

    jopen 2017-03-19   7899   0

    亞馬遜Web服務發布2013年推薦技術內容列表 資訊

    Accumulo 與 Amazon Elastic MapReduce 在 EMR 上使用 Hive 使用 Hive、Powershell 和 EMR 分析大數據 來自: InfoQ

    jopen 2014-01-24   9537   0
    P40

      spark--高效的分布式計算架構 文檔

    YARN。Spark可以與MapReduce運行于同集群中,共享存儲資源與計算,數據倉庫Shark實現上借用Hive,幾乎與Hive完全兼容。 從Hadoop 0.23把MapReduce做成了庫,看出Hadoop的目標

    cador 2017-03-13   721   0

    Apache Kylin在百度地圖的實踐 資訊

    集群機器:共4臺,1臺master(100G內存) + 3臺slaves(30G內存)。 軟件環境:CDH + Hive + HBase + Kylin 0.71 4. 基于Apache Kylin的二次開發 4.1

    jopen 2016-01-05   55700   1

    Apache Crunch:簡化MapReduce編程的Java庫 經驗

    編寫的Java庫,用于創建MapReduce流水線。與其他用來創建MapReduce作業的高層工具(如Apache Hive、Apache Pig和Cascading等)類似,Crunch提供了用于實現如連接數據、執行聚

    jopen 2013-07-18   18336   0
    1 2 3 4 5 6 7 8 9 10
  • sesese色