• 飛起來的大象:Hadoop從離線到在線 資訊

    目前HDFS中DataNode上緩存的數據并沒有通過適當途徑暴露給外界應用程序,尤其是像Spark、Hive、Pig、Impala等計算 框架無法充分利用DataNode內存進行計算、優化。該功能將集中管

    jopen 2015-07-28   24766   0
    Hadoop  

    淺談開源大數據平臺的演變 經驗

    口來達到類似 效果,還是相對繁瑣,而且對不熟悉MapReduce框架的使用者來說是一個門檻,因此hive就是為了解決此問題而誕生。它在Hadoop上建立了一個 數據倉庫框架,可以將結構化的數據文件映射

    b77m 2015-04-22   37643   0

    淺談開源大數據平臺的演變 經驗

    口來達到類似效果,還 是相對繁瑣,而且對不熟悉MapReduce框架的使用者來說是一個門檻,因此hive就是為了解決此問題而誕生。它在Hadoop上建立了一個數據倉庫 框架,可以將結構化的數據文件映射

    jopen 2015-11-21   25453   0

    Presto架構及原理 經驗

    的大數據進行交互式的查詢,查詢的速度達到商業數據倉庫的級別,據稱該引擎的性能是 Hive 的 10 倍以上。Presto 可以查詢包括 Hive、Cassandra 甚至是一些商業的數據存儲產品,單個 Presto

    wdsu5225 2016-11-07   13540   0

    Airbnb開源的三個大數據工具 經驗

    的一個可視化分布式SQL查詢引擎。Airbnb現在大概有1.5PB的數據。傳統上是可以用hive查詢,但Hive有以下幾個缺點。 第一是對于一些小規模的query,map reduce的overh

    jopen 2015-06-08   59973   0
    Airbnb  

    一個高效的分布式計算系統:Spark 經驗

    YARN。Spark可以與MapReduce運行于同集群中,共享存儲資源與計算,數據倉庫Shark實現上借用Hive,幾乎與Hive完全兼容。 Spark的適用場景 Spark是基于內存的迭代計算框架,適用于需要多次操作

    jopen 2013-11-13   53687   0
    P8

      django生產環境布署設定 文檔

    7版的相關套件指令。 當然很多人都知道有virtualenv這玩意。在開發時期多版本相當好用,但個人慣在實際生產環境中,一臺web機,會選定以python3.X或2.X為主力,避免混用。 mod_wsgi有兩種版本,for

    sungnoone 2013-11-05   5067   0

    大數據(十) - Pig 經驗

    Latin比MapReduce程序更易編寫 直接產生動機:讓MapReduce用起來更簡單 與Hive一致 Pig與Hive異同 相同點 運行在Hadoop之上; 設計動機是為用戶提供一種更簡單的Hadoop上數據分析方式;

    jopen 2016-01-20   8421   0

    Spark的RDD原理以及2.0特性的介紹 經驗

    年先后負責騰訊 Yarn 集群和 Spark 平臺的運營與研發。曾負責 Intel Hadoop 發行版的 Hive 及 HBase 版本研發。參與過百度用戶行為數據倉庫的建設和開發,以及淘寶數據魔方和淘寶指數的數據開發工作。給

    di742088 2016-05-19   68140   0

    使用bcompiler對PHP文件進行加密的代碼 代碼段

    $this->targetDir; $this->targetPaths[$key] = join('/',$path); } //錄執行前的資料夾大小 $this->sizeBeforeZip = $this->getSizeUn

    ded3b 2015-01-23   2371   0
    PHP  

    提供源碼的iPhone應用集合 經驗

    母為主。注意有可能你下載的程式碼是較舊且功能較不齊全的: ABC 123 –?一個按照順序憶的遊戲。使用了舊版本的 Cocos2D . 目前沒有尚未更新 ( itunes link ) ( source

    jopen 2013-06-09   19022   0

    系統監控工具 Monitorix 2.4.0 發布 資訊

    工具,這是一套可以監控系統狀態的工具,可監控的項目非常的多,你也可以自行設定要監控的服務,預設就可以分析 CPU 與憶體使用率、磁碟存取使用率(Disk I/O Usage)、網路使用率(Network traffic

    jopen 2011-11-28   14426   0
    Perl  

    Apache Tomcat Monitor - Lambda Probe 安裝設定 博客

    tomcat 指的是 Tomcat 所服務的主機,可以在 DNS 或 /etc/hosts 裡加上錄。

    netloser 2012-07-28   1904   0
    P18

      用Hibernate與Spring開發持久層 文檔

    ?用 Hibernate 和 Spring 開發持久層 胡昌龍 中國地質大 資訊工程院, 湖北 武漢 430074 摘 要:在本文中,用一個真實世界的例子向您介紹兩個最激動人心的企業新技術。Hibernate

    liuxiwu123 2010-11-16   3539   0

    一個SparkSQL作業的一生 資訊

    順 便探討一下SparkSQL和Hive On MapReduce比起來到底有何其別。 SQL On Hadoop的解決方案已經玲瑯滿目了,不管是元祖級的Hive,Cloudera的Impala,MapR的

    jopen 2015-12-08   30888   0
    P10

      Hadoop 集群測試報告 文檔

    o RHEL6.2 2.6.32-220.el6.x86_64 o hadoop-1.0.2 o hive-0.8.1 o hbase-0.92.1 o Oracle 11g_r2(64位) o KVM

    lenhan12345 2012-11-27   7980   0

    大數據技術大合集:Hadoop家族、Cloudera系列、spark、storm 經驗

    據的并行應用程序,以可靠和容錯的方式連接大型集群中上萬個節點(商用硬件)。 Hive: Apache Hive是Hadoop的一個數據倉庫系統,促進了數據的綜述(將結構化的數據文件映射為一張數

    jopen 2014-11-22   190566   0

    開源大數據處理工具匯總(上) 經驗

    簡介:原叫Tez,下一代Hive,Hortonworks主導開發,運行在YARN上的DAG計算框架。 某些測試下,Stinger能提升10倍左右的性能,同時會讓Hive支持更多的SQL, 其主要優點包括:

    jopen 2016-01-05   78569   0

    iOS 坐標系統與轉換方法 經驗

    有些人剛開始iOS開發,都會通過Storyboard等可視化的工具來寫進行排版,相對經常通過code來撰寫App的人來說,可能對於UIKit中的座標系統只有很初步的認識。 如果未來想要更輕鬆迅速

    xdopnet 2017-03-20   9193   0

    Spark在美團的實踐 經驗

    。 美團最初的數據處理以Hive SQL為主,底層計算引擎為MapReduce,部分相對復雜的業務會由工程師編寫MapReduce程序實現。隨著業務的發展,單純的Hive SQL查詢或者MapRed

    櫻桃大丸子 2016-04-09   55580   0
    1 2 3 4 5 6 7 8 9 10
  • sesese色