Continuuity 首席執行官：Hadoop 真特么難用

在本周的大數據研討會上，Continuuity的首席執行官指出Hadoop實施難度大，極為難用，如果不解決技術復雜性問題，Hadoop將被自己終結。

Continuuity的首席執行官Todd Papaioannou曾經是雅虎的首席云計算架構師，當年他和120個弟兄接到一個艱巨的任務：在擁有40萬個節點的雅虎私有云中配置4.5萬臺 Hadoop服務器，為5000位雅虎開發人員創建一個穩定的開發平臺。在Papaioannou的回憶中，當時的場景非常不堪：

負責建設Hadoop平臺的團隊個個手忙腳亂，互相從代碼庫中翻找可供粘貼整合的代碼，就像一群中學生在車庫中做手工。當基礎架構總算搭好的時候，開發者又花了4-5個月才開始發布應用，這也嚴重影響了雅虎的產品創新進度。

“那段時間如果你留意的話，yahoo的產品時不時會出一些狀況”，Papaioannou說道。他認為從雅虎的Hadoop實施中學到了重要的一課：

Hadoop實在太難用了。它屬于底層基礎軟件，而今天大多數IT人員都不熟悉底層基礎軟件。

有過幫雅虎實施Hadoop項目的痛苦經歷后，Papaioannou下決心創辦一家能夠降低Hadoop部署和應用開發門檻的公司—Continuuity，在Hadoop和HBase的基礎上創建一個抽象層—AppFabric，屏蔽掉Hadoop底層技術的復雜性，讓更多的開發者能夠開發大數據應用，而不僅僅是Hadoop（Mapreduce）應用。利用YARN和HBase，Continuuity開發出了能實時處理流數據的方法，并且能在任務不中斷的情況下動態擴展Hadoop集群的規模。

Papaioannou認為Hadoop開發者不應該為節點、集群、數據塊等本應由工程師處理的事擔心。這有些類似Heroku、Cloud Foundry和Windows Azure提供的PaaS服務，事實上Continuuity計劃在2013年推出AppFabric的公共云服務，以配合目前企業內部使用的版本。

來自IT經理網