Google開源C/C++版MapReduce框架
原文:http://www.36kr.com/p/219960.html
據GigaOM 消息 ,Google上周 宣布 ,將自己用C++開發的MapReduce框架 MapReduce for C(MR4C) 開源,此舉可給Hadoop社區帶來福音,因為這樣用戶就可以在自己的Hadoop環境中運行原生的C及C++代碼了。
Hadoop是許多大數據應用的基礎,它是由Apache基金會所開發的分布式系統基礎架構,主要由分布式文件系統HDFS和計算框架 MapReduce組成。由于原先的MapReduce是用Java編寫的,與C++相比,在性能上要略遜一籌。因此,許多處理大規模數據集的軟件公司都 開發了自己的專有系統來在MapReduce框架之內執行其原生代碼。非死book的HipHop(將PHP轉換為C++)以及MemSQL執行前將 SQL轉為C++代碼也都是出于同樣的性能考慮。
MR4C原先由衛星影像公司Skybox Imaging開發,目的是為了優化其地理空間數據及計算機視覺代碼庫。MR4C圍繞著幾個簡單概念開發而成,其目標是將MapReduce的重要細節抽 象化,允許用戶專注于開發有價值的算法。去年6月,Google收購了Skybox。半年之后的現在,又將MR4C開源出來。這對于沒有能力開發專有系統 或者對Java不感冒的開發者來說無疑是一個福音。
當然,MR4C的受歡迎程度仍有待觀察。因為在數據處理方面,Apache Spark是一個速度比Mapreduce更快的框架,它支持Scala、Python和Java(但不支持C/C++),已經引起了開發社區極大的興趣。
[消息來源: gigaom.com , google-opensource.blogspot.com ]