• P14

      hadoop,hbase安裝步驟 文檔

    ?Hadoop,ZooKeeper,HBase,hive(HQL) 安裝步驟 Hadoop安裝: 首先我們統一一下定義,在這里所提到的Hadoop是指Hadoop Common,主要提供DFS(分布式

    xnbw 2016-01-11   2200   0

    Hadoop 數據遷移工具,Apache Sqoop 1.4.6 發布 資訊

    import into hive as parquet file and query option [ SQOOP-1524 ] - Error to import into hive as textfile

    pjp 2015-05-10   21332   0

    Airbnb開源ReAir工具,提供PB級數據倉庫的遷移和備份 資訊

    Airbnb 大數據平臺架構 成為 Airbnb 公司提升產品決策的關鍵部分。其 Hive 數據倉庫從 2013 年中旬的 350 TB 暴增到 11 PB (2015 年末統計的數據)。隨著公司的成

    jopen 2016-05-24   11277   0
    Airbnb   ReAir  
    P45

      wince注冊表結構 文檔

    CE的注冊表提供了兩種實現方式:基于RAM的注冊表(RAM-Based Registry)和基于Hive的注冊表(Hive-Based Registry)。我們可以選擇在Windows CE中使用任何一種注冊表

    agully 2016-10-17   1345   0

    為什么如此難用?Hadoop 的 12 個技術痛點 資訊

    Pig vs. Hive 你 在 Pig 里用不了 Hive UDFS。在 Pig 中你必須用 HCatalog 來訪問 Hive 表。你在 Hive 里用不了Pig UDFS。在 Hive 中無論是多么小的額外功能,我都不會感覺像寫一個

    jopen 2014-10-27   8709   0
    Hadoop  

    Hadoop,開發者糾結的十件事 資訊

    Schema 的支持上。 3、 Pig 和 Hive 無法互通 Hive 和 Pig 用起來完全是兩個東西。熟悉 SQL 的開發者可以在 Hive 中使用類似的腳本,但是在 Pig 中卻不得不重新學習其語法。在

    jopen 2014-10-27   10794   0
    Hadoop  

    2017年DevOps的5大發展預測 資訊

    Hive是一個基于Hadoop的開源數據倉庫,用于存儲和處理海量結構化數據。它是Facebook 2008年8月開源的一個數據倉庫框架,提供了類似于SQL語法的HQL語句作為數據訪問接口,Hive有如下優缺點:

    jopen 2017-01-05   6304   0
    P31

      海量數據的高效存儲 --- 淘寶云梯極限存儲的原理和實踐 文檔

    被寫入到對應的唯一的生命周期目錄下(依賴2的統計結果)。 4.使用hive的雙重分區映射生命周期目錄,這樣用戶可以通過靈活的hive分區過濾來獲得期望的數據。 5.數據驗證,為了保證應用極限存儲后結果

    cdredfox 2012-01-10   4904   0
    P30

      極限存儲設計原理及實踐 文檔

    被寫入到對應的唯一的生命周期目錄下(依賴2的統計結果)。 4.使用hive的雙重分區映射生命周期目錄,這樣用戶可以通過靈活的hive分區過濾來獲得期望的數據。 5.數據驗證,為了保證應用極限存儲后結果

    gonow86 2013-01-30   2351   0
    P30

      極限存儲設計原理及實踐 - 淘寶 文檔

    被寫入到對應的唯一的生命周期目錄下(依賴2的統計結果)。 4.使用hive的雙重分區映射生命周期目錄,這樣用戶可以通過靈活的hive分區過濾來獲得期望的數據。 5.數據驗證,為了保證應用極限存儲后結果

    hans511002 2012-06-24   3343   0
    P20

      Hadoop 主要子項目介紹 文檔

    Hadoop主要子項目介紹(Pig Zookeeper Hbase Sqoop Avro Chukwa Cassandra )Hive 現 在Hadoop已經發展成為包含多個子項目的集合。雖然其核心內容是MapReduce和Ha

    706394187 2015-05-23   807   0
    P6

      大數據架構師基礎:hadoop家族,Cloudera產品系列等各種技術 文檔

    的訪問和存儲。下面為詳細資料: 什么是HDFS及HDFS架構設計 HDFS+MapReduce+Hive快速入門 Hadoop2.2.0中HDFS為何具有高可用性 Java創建hdfs文件實例 MapReduce:

    tony2007 2015-06-19   2795   0

    基于Hadoop2.5.0的集群搭建 經驗

    0/hadoop-2.5.0.tar.gz Hive: http://apache.fayea.com/apache-mirror/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar

    jopen 2014-10-09   59369   0
    P30

      Apache Tez - 下一代Hadoop上的執行引擎 文檔

    resource management & data processing)Pig (data flow)Hive (sql) Others (cascading) HDFS2 (redundant, reliable

    byc2 2014-11-18   348   0
    P30

      Tez - 下一代Hadoop上的執行引擎 文檔

    resource management & data processing)Pig (data flow)Hive (sql) Others (cascading) HDFS2 (redundant, reliable

    dfwm 2014-10-19   763   0

    網易大數據平臺的Spark技術實踐 經驗

    地適用于數據挖掘與機器學習等需要迭代的MapReduce的算法。 在網易大數據平臺中,數據存儲在HDFS之后,提供Hive的數據倉庫計算和查詢,要提高數據處理的性能并達到實時級別,網易公司采用的是 Impala和Sha

    jopen 2014-12-19   64036   0

    Presto 來自Facebook的開源分布式查詢引擎 資訊

    客戶端從輸出段中將數據取出,這些數據是從更底層的處理段中依次取出的。 Presto的運行模型和Hive或MapReduce有著本質的區別。Hive將查詢翻譯成多階段的MapReduce任務, 一個接著一個地運行。每一個任

    jopen 2015-07-15   18518   0
    Presto  

    淘寶Hadoop作業平臺:宙斯Zeus 經驗

    從功能上來說,支持: Hadoop MapReduce任務的調試運行 Hive任務的調試運行 Shell任務的運行 Hive元數據的可視化查詢與數據預覽 Hadoop任務的自動調度 完整的文檔管理

    jopen 2013-05-03   48614   0

    Kylin 大數據時代的OLAP利器 資訊

    與BI工具可無縫整合 Kylin典型的應用場景如下: 用戶數據存在于Hadoop HDFS中,利用Hive將HDFS文件數據以關系數據方式存取,數據量巨大,在500G以上 每天有數G甚至數十G的數據增量導入

    jopen 2016-01-04   124168   0
    OLAP   大數據  

    大眾點評數據平臺架構變遷 經驗

    開發了一些自定義的UDF 2.2 架構: 1. 存儲和計算都基于HIVE 2. GREENPLUM作為HIVE的“cache”存在,供用戶做一些小數據的快查詢,報表存儲。 3. 調度

    cnffe 2015-11-06   25029   0
    架構  
    1 2 3 4 5 6 7 8 9 10
  • sesese色