• 阿里類似Hadoop MapReduce的系統:jstorm 經驗

    Storm 是一個類似Hadoop MapReduce的系統, 用戶按照指定的接口實現一個任務,然后將這個任務遞交給JStorm系統,Jstorm將這個任務跑起來,并且按7 * 24小時運行起來,一旦中間一個worker

    jopen 2014-02-27   43539   0

    Cloudbreak - 基于Hadoop的Docker service API 經驗

    Cloudbreak 是首個基于hadoop的docker service API。 Cloudbreak 建立于 Apache Ambari , Docker containers, Serf 和 dnsmasq

    jopen 2014-08-24   15444   0

    在 Docker 上建立多節點的 Hadoop 集群 經驗

    上建立多節點的 Hadoop 集群 在 上篇文章 中你已經看到了在你的devbox創建一個單點Hadoop 集群是多么簡單。 現在我們提高門檻,在Docker上創建一個多點hadoop集群。在開始前,確保你有最新的Ambari鏡像:

    jopen 2014-07-01   29523   0

    Hadoop構建電影推薦系統 經驗

    Hadoop家族系列文章 ,主要介紹Hadoop家族產品,常用的項目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari

    jopen 2014-07-30   77065   0
    P23

      Hadoop源碼分析-MapReduce部分 文檔

    ?2009-02-21 Hadoop源代碼分析(MapReduce概論) 大家都熟悉文件系統,在對HDFS進行分析前,我們并沒有花很多的時間去介紹HDFS的背景,畢竟大家對文件系統的還是有一定的理解的

    dishad631 2010-10-01   5060   0
    P12

      Hadoop 源碼以及流程解析 文檔

    ?Hadoop源碼以及流程解析 整體結構 DN: Configuration,JobClient,JobConf Master:JobTracker,JobInProgress,TaskInProgress

    xfj3526 2012-06-13   2384   0

    Elasticsearch、MongoDB和Hadoop比較 經驗

    引擎,它們存儲著JSON文 檔,MongoDB存著JSON文檔,或者一堆JSON文檔存放在一個Hadoop集群的HDFS中。你可以使用這三種配置完成很多同樣的事情。 ES是否可以作為一個NoSQL

    jopen 2015-05-12   22864   0

    hadoop作業調優參數整理及原理 經驗

    mapreduce.task.io.sort.mb 。 當map的產生數據非常時,并且把 mapreduce.task.io.sort.mb 調,那么map在整個計算過程中 spill 的次數就勢必會降低,map

    mq2126 2016-01-21   9102   0

    Hadoop和Spark框架的異同 經驗

    談到大數據,相信大家對Hadoop和Apache Spark這兩個名字并不陌生。但我們往往對它們的理解只是停留在字面上,并沒有對它們進行深入的思考,下面不妨跟我一塊看下它們究竟有什么異同。 1 解決問題的層面不一樣

    oxzr6054 2016-09-02   14060   0

    Apache Hadoop 2.0 Alpha 發布 資訊

    Hadoop并不僅僅是一個用于存儲的分布式文件系統,而是設計用來在由通用計算設備組成的大型集群上執行分布式應用的框架。 Apache Hadoop 2.0 今天發布了首個 alpha 版本,該版本

    jopen 2012-05-27   18210   1

    Apache Hadoop 2.3.0發布 資訊

    分布式計算開源框架Hadoop近日發布了今年的第一個版本Hadoop-2.3.0,新版本不僅增強了核心平臺的大量功能,同時還修復了大量bug。 新版本對HDFS做了兩個非常重要的增強: 支持異構的存儲層次

    jopen 2014-02-27   10093   0

    Apache擬在Docker中運行Hadoop 資訊

    Apache 在其 Hadoop 維基百科發布了一個 頁面 ,主要整理了 Docker 中運行 Hadoop 的好處,以及要完全在 Docker 中運行 Hadoop 所需要完成的工作。在 Docker,或者說其它容器中運行

    jopen 2014-09-04   8223   0
    Hadoop   Docker  

    Hunk/Hadoop: 性能最佳實踐 資訊

    com/cn/news/2015/09/Hunk-Performance 無論有沒有使用Hunk,當運行Hadoop時,有很多種方式導致偶爾的性能底下。多數時候人們是增加更多的硬件來解決問題,但是有時候只需要簡單更改下文件的名稱就可以解決問題。

    jopen 2015-09-28   5966   0
    Hadoop  

    Spark和Hadoop,孰優孰劣? 資訊

    http://www.infoq.com/cn/news/2015/12/Spark-Hadoop-HDFS Spark 已經取代 Hadoop 成為最活躍的開源大數據項目。但是,在選擇大數據框架時,企業不能因此就厚此薄彼。近日,著名大數據專家

    jopen 2015-11-30   16341   0
    Spark  
    P9

      8步安裝好你的hadoop 文檔

    三個節點,先定義好主機名!!!!!這步很重要 分別是hadoop1 , hadoop2 , hadoop3 2 在所有節點上創建密鑰對 hadoop106#ssh-keygen -t rsa hadoop114#ssh-keygen

    lwg32719 2014-06-07   2110   0
    P33

      Hadoop與HBase自學筆記 文檔

    ?思數科技引領未來 www.bihuman.com Hadoop與HBase自學筆記 1、 安裝jdk 安裝eclipse時已經提過,這里略,使用jdk1.6.0_12版本。 2、 安裝Cygwin以及相關服務

    ka520 2015-11-14   1170   0
    P5

      How To Write Map-Reduce On Hadoop 文檔

    ?How To Write Map-Reduce On Hadoop 概述 Hadoop Map-Reduce是一個使用簡易的軟件框架,基于它寫出來的應用程序能夠運行在 由上千個商用機器組成的大型集群

    thinkingx 2011-12-15   4828   0
    P6

      Hadoop 學習總結之一:HDFS簡介 文檔

    ?一、HDFS的基本概念 1.1、數據塊(block) · HDFS(Hadoop Distributed File System)默認的最基本的存儲單位是64M的數據塊。 · 和普通文件系統相同的是

    huafenged 2012-02-24   3626   0

    Hadoop Outputformat淺析(轉) 博客

    Hadoop Outputformat淺析 (轉) 分類: 大數據技術 hadoop 作業 string path 存儲 null 目錄 (?) [-] 相關廠商內容 OutputFormats是做什么的

    cnzebra 2013-06-27   473   0
    P9

      Hadoop 集群搭建文檔 文檔

    ?Hadoop集群搭建文檔 環境: Win7系統裝虛擬機 虛擬機VMware-workstation-full-9.0.0-812388.exe Linux系統 Ubuntu12.0.4 JDK jdk-7u17-linux-i586

    cbxw 2015-01-07   1752   0
    1 2 3 4 5 6 7 8 9 10
  • sesese色