• eBay開源新數據庫技術Kylin,支持TB到PB級數據量 資訊

    表示,它可以查詢數十億行數據——在高達 14TB 的數據集上,速度比使用傳統的 Apache Hive 工具快得多。 Kylin 工作在一個很高級別上,它從 Hive 取數據;使用 MapReduce 預處理大型查詢;然后將這些結果作為鍵值

    jopen 2014-10-23   11724   0
    Kylin  

    盤點大數據開源軟件Google Trends指數 資訊

    管理和監控Hadoop集群。目前已支持大多數Hadoop組件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 ZooKeeper

    jopen 2017-04-06   46308   0
    P46

      云計算之Hadoop 文檔

    的高擴展性分布式數據庫 Pig-一種高級數據流語言和并行計算的執行框架,也基于hadoop核心 Hive-建立在hadoop之上的數據倉庫基礎設施,提供數據摘要,adhoc querying,數據集分析。

    huafenged 2011-08-17   4776   0
    P46

      云計算之Hadoop 文檔

    的高擴展性分布式數據庫 Pig-一種高級數據流語言和并行計算的執行框架,也基于hadoop核心 Hive-建立在hadoop之上的數據倉庫基礎設施,提供數據摘要,adhoc querying,數據集分析。

    daibiao 2012-06-13   5056   0

    淺析Apache Storm 0.10.0-beta發布:劍指Heron 資訊

    大贊的。 六、支持Hive數據的接入 這個特性將會在0.13中引入,提供數據從Hive接入Storm的API,以及數據Hive落得的API,讓數據從Storm到Hive的流程更加的合理以及方便

    jopen 2015-06-17   19186   0
    P46

      云計算之Hadoop 文檔

    的高擴展性分布式數據庫 Pig-一種高級數據流語言和并行計算的執行框架,也基于hadoop核心 Hive-建立在hadoop之上的數據倉庫基礎設施,提供數據摘要,adhoc querying,數據集分析。

    qiu.n@sand 2011-10-26   5538   0

    108個大數據文檔PDF開放下載 資訊

    90、大數據基本架構的未來 下載 : 大數據基本架構的未來 .pdf 91、大規模分佈式機器學 下載 : 大規模分佈式機器學 .pdf 92、Kylin–基于 Hadoop 的大規模聯機分析引擎 下載

    b4c2 2015-01-29   51827   0

    Apache Kylin 綜述 經驗

    據,可根據數據的規模實現架構的可伸縮。Apache Kylin作為OLAP引擎包含了從 數據源(Hive/Kafka等) 獲取源數據,基于MapReduce 構建多維立方體(Cube) ,并充分利用 HBase

    caotans 2017-01-04   26137   0

    Facebook的數據倉庫是如何擴展到300PB的 經驗

    ,本文是原文的翻譯 ) Facebook在數據倉庫上遇到的存儲可擴展性的挑戰是獨一無二的。我們基于Hive的數據倉庫中存儲了超過300PB的數據,并且以每日新增 600TB的速度增長。去年這個數據倉庫所

    jopen 2014-12-12   22458   0

    大數據生態圈與IBM Platform Symphony架構設計 資訊

    ,那么大數據領域又有哪些知名的項目呢?當面對這樣的問題時,很多人可能會快速地回答:Hadoop、Hive、Hbase以及后來的Yarn(Hadoop二代)、Mesos、Spark、Storm、Flin

    jopen 2016-02-16   32484   0
    大數據   Hadoop   IBM  

    Hadoop 管理監控工具:Apache Ambari 經驗

    MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、

    jopen 2012-12-25   77765   0

    來自 eBay 的 OLAP 分析引擎:Kylin 經驗

    data via Kylin at sub-second latency, better than Hive queries for the same dataset - MOLAP Cube: User

    jopen 2014-10-09   73265   0

    hadoop家族介紹 資訊

    故障。它使應用程序與成千上萬的獨立計算的電腦和PB級的數據。 常用的項目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari

    jopen 2015-08-31   28652   0
    Hadoop  
    P30

      Hadoop 淘寶方案 文檔

    周敏日期:2010-05-26 2. OutlineHadoop基本概念 Hadoop的應用范圍 Hadoop底層實現原理 Hive與數據分析 Hadoop集群管理 典型的Hadoop離線分析系統架構 常見問題及解決方案 3. 關于打撲克的哲學

    qsf113 2012-05-09   664   0
    P30

      淘寶Hadoop與數據分析 文檔

    周敏日期:2010-05-26 2. OutlineHadoop基本概念 Hadoop的應用范圍 Hadoop底層實現原理 Hive與數據分析 Hadoop集群管理 典型的Hadoop離線分析系統架構 常見問題及解決方案 3. 關于打撲克的哲學

    lxz 2014-01-03   3863   0

    impala筆記 經驗

    也是目前性能最好的開源SQL-on-hadoop方案。 如下圖所示, impala性能超過SparkSQL、 Presto、 Hive。 impala與hadoop生態結合緊密 (1) HDFS是impala最主要的數據源。

    er74 2015-07-26   61584   0

    Airbnb架構要點分享 經驗

    在HDFS文件之上,Airbnb使用由Facebook創建并開源的 Hive 和 Presto 創建了一個數據倉庫。對于長時間運行的查詢,他們使用MapReduce。Hive不支持子查詢,使用MapReduce可以獲得同子查詢類似的結果。

    jopen 2015-09-22   22226   0

    Hadoop和數據庫數據遷移工具 Apache Sqoop 1.4.2 發布 資訊

    get nullified during postgres direct import into hive. [ SQOOP-450 ] - Direct MySQL import can fail when

    openkk 2012-08-24   12308   0
    Hadoop  

    開源大數據處理系統/工具大全 經驗

    簡介:原叫Tez,下一代Hive,Hortonworks主導開發,運行在YARN上的DAG計算框架。 某些測試下,Stinger能提升10倍左右的性能,同時會讓Hive支持更多的SQL, 其主要優點包括:

    ew45 2015-03-12   325553   0

    從業務驅動和技術實現角度談騰訊大數據 資訊

    系統都是通過 TDBank 接入數據的。 我們離線數據處理使用 TDW 平臺。TDW 基于 Hive、Pig、Hadoop、Spark 等研發,支持 SQL、Pig Latin、MR、SPARK 等編程接口,為業務提供離線服務。

    jopen 2014-11-25   33331   0
    1 2 3 4 5 6 7 8 9 10
  • sesese色