Apache Storm 1.0版本重拳出擊:前代版本3倍性能表現
Apache于4月公布了Apache Storm 1.0版本,并表示新版本較上代方案“最高提速16倍”,且延遲水平降低60%。
“對于大多數用例而言,用戶都能夠享受達到前代版本3倍的性能表現。”rnrnApache的流數據處理系統攜手Spark,旨在進一步提升性能水平并改進調試功能。rnrn大數據專家們在討論Apache Spark與Apache Storm之間的流數據處理能力時,往往給出共識性的結論:Storm確實擁有更好的規模化能力與速度表現,但使用難度較高。
另外,其正在逐漸被Spark所取代——因此選擇更新且更為熱門的Spark往往成為主流觀點。rnrn有鑒于此,Apache Storm 1.0版本希望重新扳回一城——其不僅進一步提升了速度表現,還大幅降低了使用難度。rnrnApache于4月公布了Apache Storm 1.0版本,并表示新版本較上代方案“最高提速16倍”,且延遲水平降低60%。“對于大多數用例而言,用戶都能夠享受達到前代版本3倍的性能表現。”rnrn此次新版本進行了一系列戰略修復以實現上述性能改進,具體包括將數據與特定Storm方案相關聯的新型分布式緩存API,或者所謂“拓撲”——其規模可達數GB,并在不同節點之間實現共享且利用命令行進行更新。換言之,管理員不再需要以手動方式對各個節點進行重新部署。另外,該數據提取自本地文件系統,但亦可被存儲在Hadoop HDFS當中。
rnrn新版本還引入了新的批量處理方法,其同樣實現了可觀的速度提升,但延遲卻僅僅略微增加。rnrn1.0版本中的大部分改動都使得Storm更易于使用。在Storm的早期版本中,調試機制通常要求用戶編寫定制化“bolts”(處理功能)以提取實時數據。而在1.0版本內,用戶能夠直接截取Storm全部流量中的1%作為樣本,并通過UI進行查看或者保存在磁盤中以備后續查詢。同樣的,1.0版本還提供新的日志搜索功能,允許用戶對Storm管理節點的完整拓撲進行日志搜索。rnrnStorm面臨的競爭壓力并不單純來自Spark,而且其性能與易用性指標也都遭受到挑戰。Apex項目作為一套數據流框架——亦被稱為DataTorrent RTS——號稱能夠實現“10到100倍”于Spark的數據流處理速度,且開發與部署難度低于Spark以及Storm。