容器和微服務在Hadoop生態系統中找到一席之地

容器和微服務憑借構架上的靈活優勢，已經殺進了Hadoop生態系統。分別位于德國和美國兩家公司的技術高管對此提出了自己的觀點。

最近關于大數據的實踐多是基于裸機的，這意味著Hadoop已經在非虛擬服務器上被廣為實現。隨著容器和微服務在應用服務界越來越受歡迎，這個現狀也可能會發生改變。

容器和微服務都可將單層應用（monolithic application）的代碼拆分為更為精細的部件，簡化了開發和測試，也是部署復雜應用和代碼重用的關鍵。

雖然剛開始將這種技術應用于大數據，但在數據流方面，微服務已經顯示出良好的潛力

。歐洲電商公司一位技術經理表示，微服務可以簡化部署和代碼重用。

Otto GmbH是德國漢堡一家多渠道零售商，它的商業智能系統的首席平臺架構師Rupert Steffner表示，使用微服務，“可以精簡當前的工作”，進一步說，對于某些類型的應用，如果不使用微服務，“是不明智的做法，因為你是在不停重復同樣的功能。”

Steffner所說的應用類型即對在線零售網站進行實時分析工作的多功能人工智能（AI）機器人程序。Otto融合了微服務、Docker容器和流處理技術來支持這些AI機器人程序。

容器和微服務，厲害了

云計算是將Hadoop、Spark和其他大數據技術推向虛擬化、容器和微服務的動力之一。還有許多基礎設施需要構建，但目前已經有公司開始用技術簡化這個過程。

“以前Hadoop多運行在裸機上，后來在虛擬機上也可以了；比如亞馬遜云、Azure云和OpenStack。而現在，又要轉移到容器上去。”Tom Phelan，BlueData軟件公司的聯合創始人和首席架構師，該公司是Hadoop或Spark集群自動生成平臺制造商。

“以前，Hadoop集群在裸機上的表現更好，但這種情況正在改變，”Tom Phelan說。他承認容器還需要進一步成熟，并提到Hadoop最初的設計并不是微服務類型的架構。位于加州圣克拉拉的BlueData最近更新了軟件以增強容器支持，推出Hadoop集群Kerberos自動設置和Linux特權訪問管理工具。

微服務的另兩個驅動因素是敏捷性和流，Hadoop發行版廠商MapR Technologies公司的MapR數據和應用方面的高級副總裁，JackNorris表示，使用機器人程序的顧客需要快速適應數據和機器學習模型。

對“事件驅動”型構架的應用來說尤為如此，因為這樣的構架包含越來越多的數據流組件。Norris說，隨著Hadoop和Spark應用流變得越來越復雜，更新也變得越來越難了。但是，由于微服務專注于數據管道事件，這會給發展帶來更多的靈活性。這也改變了之前 Hadoop的發展方式。

“我們認為有必要開啟更多更廣的應用，”Norris說。同時，他承諾MapR會繼續支持當前的單層應用。

上個月，MapR試圖進一步在大數據方面推動微服務的進展，即嘗試用微服務對應用做版本管理，并將微服務用于機器學習模型的A/B測試。另外，據Norris說，有新的參考構架可以用來指導開發者通過微服務融合流數據和實時分析應用。

AI機器人程序盯著空空的購物車

隨著大數據處理工作成為數據流組件更加復雜的集合，微服務拓寬了應用的廣度。Otto公司的Steffner表示，微服務提供了典型的“分而治之”的思路來滿足構架上的需要。

Steffner曾在上個月于紐約舉辦的Strata +Hadoop2016世界大會上發言，他說，Otto公司的數據構架中，每個AI機器人程序都處理一個特定的任務。例如，某個AI機器人程序專門尋找欺詐性交易，另一個則使用分析模型來投放實時廣告，還有一個AI機器人程序專門檢查空購物車，并在用戶沒有購買任何商品就要離開網站時放出優惠。

Steffner說，這些工作是通過基于Docker的微服務架構完成的，當時是2015年的十月份，而在兩年之前，在常規的大數據平臺上是做不到這一點的。

Steffner還說，Docker容器十分契合機器人程序的概念。Otto公司在后端安裝了一系列的開源的流處理引擎，包括 Storm , Spark Streaming , Flink 和 Ignite 。在目前的環境下，Ignite（由GridGain 系統公司原創的內存數據結構技術）承擔了大部分的實施處理工作。

來自：http://dockone.io/article/1814