Hadoop 迭代式計算框架：Guagua
Hadoop 迭代式計算框架 Guagua 是 PayPal 的一個開源機器學習框架 Shifu 的子項目。Guagua 主要解決了模型訓練的分布式問題。同時 Guagua 并沒有將自己局限在分類模型，Guagua 是一個基于 Hadoop 的迭代式計算框架，幾乎任何基于迭代的算法都可以利用 Guagua 為其添加分布式功能。此外由于Guagua對分 布式的良好支持，我們以前許多想做又不能做的工作比如模型特征自動選取都可以得以進行。
Guagua目前主要支持的是同步的Master-Workers結構的迭代式計算框架，今后我們希望能夠支持異步方式的迭代計算框架，2012年Google MapReduce之父Jeff Dean發表了一篇論文，上面提到了對神經網絡深度模型的支持，文章介紹他們的DistBelief框架訓練的神經網絡的數學模型可以支持10億級別的參數。這也是Guagua的另一個方向，支持超大規模的深度神經網絡模型。
本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！