超越 Hadoop，Luigi 打通云端大數據管道

Liugi數據管線的可視化管理圖

新的大數據開源技術和工具往往來自互聯網公司，除了非死book、Google和推ter這樣的巨頭外，一些甚至是你想不到的互聯網公司，例如Netflix和Spotify（音樂流媒體服務）也會貢獻一些優秀的大數據分析開源工具（Suro和Luigi）。

近日創業公司Mortar就將Spotify開發的開源大數據工具Luigi搬上云端，在亞馬遜云上提供復雜的，涉及大量工具和數據庫的大數據流水線處理服務，不論是否使用Hadoop，用戶都可以用Luigi管理復雜的大數據工作流。

Mortar公司最初的產品是提供一個編寫和啟動Hadoop任務的簡單框架，運行在亞馬遜彈性MapReduce云服務上。2012 年，Mortar開始開源一些產品代碼并分享一些Hadoop任務模板。2013年，Mortar與一群優秀的數據科學家協作，幫助用戶開發推薦引擎，并 期望能夠從中摸索出在Mortar平臺上運行這些任務的流程。

如今，Mortar的產品戰略已經擴展到了Hadoop以外，希望用戶通過Mortar管理的應用不再局限于Hadoop圈子。

Mortar首席執行官K Young指出：雖然Hadoop在客戶那里非常受歡迎，但還是有很多重要的數據并不需要Hadoop，或者根本就不適用。通過以云服務的方式提供 Luigi工具，Mortar的用戶如今能夠使用Python開發和可視化通往任何數據庫或處理環境的大數據管線，只要它們支持API訪問。

Young還認為云端版Liugi將幫助用戶更快完成從原型到產品的過渡。Mortar也不準備放棄Hadoop，因為當今的大數據應用需要與多種處理環境對接，而開發者需要一種更簡單的方法來管理這個流程。

“事實上，很多大數據項目擱淺并非因為大數據技術的復雜性格或者缺少數據科學家，最大的問題是如何將數據從所在的地方轉移到需要（處理）的地方。”Young說道。

來自IT經理網