• 0推薦
    18K 瀏覽

    MapReduce編程模型的一個輕量級實現:Mrs

    Mrs是MapReduce編程模型的一個輕量級實現,但同樣擁有高性能,可用于并行計算。
    0推薦
    33K 瀏覽

    Disco - 基于MapReduce的分布式計算框架

    Disco是一個基于MapReduce的分布式計算框架。Disco是一個開源項目,由諾基亞研究中心開發用來解決處理大數據時碰到的實際問題。
    0推薦
    53K 瀏覽

    MapReduce程序reduce輸出控制

    在hadoop中,reduce支持多個輸出,輸出的文件名也是可控的,就是繼承MultipleTextOutputFormat類,重寫generateFileNameForKey方法
    0推薦
    104K 瀏覽

    MapReduce 模式、算法和用例(MapReduce Patterns, Algorithms, and Use Cases)

    在新文章“MapReduce模式、算法和用例”中,Ilya Katsov提供了一個系統化的綜述,闡述了能夠應用MapReduce框架解決的問題。
    openkk 13年前   
    0推薦
    49K 瀏覽

    MapReduce數據流

    MapReduce的輸入一般來自HDFS中的文件,這些文件分布存儲在集群內的節點上。運行一個MapReduce程序會在集群的許多節點甚至所有節點上運行mapping任務,每一個mapping任務...
    0推薦
    63K 瀏覽

    用MongoDB實現MapReduce

    MapReduce 是 Google 在 2004 年發布的一個軟件框架,用于支持大規模數據的分布式計算。 MongoDB 是一個開源的面向文檔的 NoSQL 數據庫系統,使用 C++ 編寫。
    openkk 13年前   
    0推薦
    406K 瀏覽

    谷歌三大核心技術(一)Google File System中文版

    我們設計并實現了Google GFS文件系統,一個面向大規模數據密集型應用的、可伸縮的分布式文件系統。GFS雖然運行在廉價的普遍硬件設備上,但是它依然了提供災難冗余的能力,為大量客戶機提供了高性能的服務。
    0推薦
    280K 瀏覽

    谷歌三大核心技術(二)Google MapReduce中文版

    MapReduce是一個編程模型,也是一個處理和生成超大數據集的算法模型的相關實現。用戶首先創建一個Map函數處理一個基于 key/value pair的數據集合,輸出中間的基于key/valu...
    0推薦
    44K 瀏覽

    MapReduce單元測試框架 MRUnit

    MRUnit是由Couldera公司開發的專門針對 Hadoop中編寫MapReduce單元測試的框架,基本原理是JUnit4和 EasyMock。
    jopen 13年前   
    1 2 3

    經驗分享,提升職場影響力

    投稿

    熱門問答

      熱門文檔

      • sesese色