Storm、Spark和MapReduce 開源分布式計算系統框架比較

比較項 Storm Spark Streaming 分布式計算在許多領域都有廣泛需求，目前流行的分布式計算框架主要有 Hadoop MapReduce, Spark Streaming, Storm; 這三個框架各有優勢，現在都屬于 Apache 基金會下的頂級項目，下文將對三個框架的特點與適用場景進行分析，以便開發者能快速選擇適合自己的框架進行開發。

Hadoop MapReduce 是三者中出現最早，知名度最大的分布式計算框架，最早由 Google Lab 開發，使用者遍布全球(Hadoop PoweredBy);主要適用于大批量的集群任務，由于是批量執行，故時效性偏低，原生支持 Java 語言開發 MapReduce ，其它語言需要使用到 Hadoop Streaming 來開發。Spark Streaming 保留了 Hadoop MapReduce 的優點，而且在時效性上有了很大提高，中間結果可以保存在內存中，從而對需要迭代計算和有較高時效性要求的系統提供了很好的支持，多用于能容忍小延時的推薦與計算系統。Storm 一開始就是為實時處理設計，因此在實時分析/性能監測等需要高時效性的領域廣泛采用，而且它理論上支持所有語言，只需要少量代碼即可完成適配器。

下面的表格是對三者部分特性的比較，描述時間為 2015-5-3，三個項目均處于快速迭代中，文中描述特性會隨時產生變化，如果與官方文檔產生出入以官方文檔為準。

表格說明：

開源時間以 github 上最早的 commit 或者官網上最早發布版本的時間為準。

當前版本與特性描述截止 2015-5-3。

相關資料量通過比較官方文檔、搜索引擎、論壇等途徑得出。

部分比較數據來源于實踐或相關文章(未找到出處)。

本文會保持更新，如果數據發現有出入，歡迎指正。

參考資料：

Hadoop 官網

Spark Streaming

Storm 官網

via：dotNet大數據

來源：36大數據