推ter宣布開放實時計算系統Storm源代碼

fmms 13年前發布 | 20K 次閱讀 Storm

推ter 在 Strange Loop 大會上公布分布式實時計算系統 Storm 的源代碼,可以用于各種編程語言,彌補了 Hadoop 實時性的缺失,意義重大。

據了解,Storm 代碼來自于 推ter 上月收購的 BackType,后來被 推ter 收購用于 推ter。業內普遍認為這是 推ter 為方便用戶解析數據所作出的努力。推ter 首席工程師 Nathan Marz在博客上表示:“這是一件非常重大的事情,至少對使用大量數據的極客來說是如此,因為相比大多數企業,推ter 要處理更多的實時數據。”除此之外,Nathan Marz 還指出 Storm 在業內有著相當廣闊的使用前景,比如流處理、持續演算及遠程處理命令等。

現在,Storm 的發展勢頭相當強勁,推ter 開發的相應工具已使其功能變得更加強大。Storm 類似于另一個開源數據操作平臺 Hadoop,Storm 也可能成為一項重要業務。

推ter 列舉了 Storm 的三大類應用:

1. 信息流處理(Stream processing)

Storm 可用來實時處理新數據和更新數據庫,兼具容錯性和可擴展性。

2. 連續計算(Continuous computation)

Storm 可進行連續查詢并把結果即時反饋給客戶端。比如把 推ter 上的熱門話題發送到瀏覽器中。

3. 分布式遠程程序調用(Distributed RPC)

Storm 可用來并行處理密集查詢。Storm 的拓撲結構是一個等待調用信息的分布函數,當它收到一條調用信息后,會對查詢進行計算,并返回查詢結果。 舉個例子 Distributed RPC 可以做并行搜索或者處理大集合的數據。

項目網頁:http://t.cn/adMiuD

關于 Storm 的介紹 PPT:http://www.slideshare.net/nathanmarz/the-secrets-of-building-realtime-big-data-systems

來自: CSDN

 本文由用戶 fmms 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!