Google開源C/C++版MapReduce框架

jopen 9年前發布 | 25K 次閱讀 MapReduce

原文:http://www.36kr.com/p/219960.html

Google開源C/C++版MapReduce框架 據GigaOM 消息 ,Google上周 宣布 ,將自己用C++開發的MapReduce框架 MapReduce for C(MR4C) 開源,此舉可給Hadoop社區帶來福音,因為這樣用戶就可以在自己的Hadoop環境中運行原生的C及C++代碼了。

Hadoop是許多大數據應用的基礎,它是由Apache基金會所開發的分布式系統基礎架構,主要由分布式文件系統HDFS和計算框架 MapReduce組成。由于原先的MapReduce是用Java編寫的,與C++相比,在性能上要略遜一籌。因此,許多處理大規模數據集的軟件公司都 開發了自己的專有系統來在MapReduce框架之內執行其原生代碼。非死book的HipHop(將PHP轉換為C++)以及MemSQL執行前將 SQL轉為C++代碼也都是出于同樣的性能考慮。

Google開源C/C++版MapReduce框架 MR4C原先由衛星影像公司Skybox Imaging開發,目的是為了優化其地理空間數據及計算機視覺代碼庫。MR4C圍繞著幾個簡單概念開發而成,其目標是將MapReduce的重要細節抽 象化,允許用戶專注于開發有價值的算法。去年6月,Google收購了Skybox。半年之后的現在,又將MR4C開源出來。這對于沒有能力開發專有系統 或者對Java不感冒的開發者來說無疑是一個福音。

當然,MR4C的受歡迎程度仍有待觀察。因為在數據處理方面,Apache Spark是一個速度比Mapreduce更快的框架,它支持Scala、Python和Java(但不支持C/C++),已經引起了開發社區極大的興趣。

[消息來源: gigaom.com , google-opensource.blogspot.com ]

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!