百度開發超級計算機 用于深度學習算法研究
1 月 16 日,百度表示,正在開發全球最準確的計算機視覺系統 Deep Image。這一系統運行在針對深度學習算法優化的超級計算機之上。
百度稱,在 Imange Net 對象識別評分中,這一系統的錯誤率僅為 5.98%。而 2014 年,來自谷歌的一個團隊憑借 6.66% 的錯誤率獲得了冠軍。在試驗中,對于 Image Net 給出的數據集,人眼識別的錯誤率為 5.1%。
Deep Image 的主要優勢在于其超級計算機 Minwa。百度開發這一超級計算機的主要目的就是為了容納 Deep Image 系統。過去幾年,關注深度學習的研究者利用 GPU(圖形處理單元)去處理重度計算任務。實際上,Deep Image 的論文援引的一項研究顯示,在著名的谷歌 Brain 項目中,3 臺機器中 12 顆 GPU 帶來的性能就達到了包含 1000 個節點的 CPU 簇的水平。百度首席科學家吳恩達此前從事了谷歌 Brain 項目。
不過到目前為止,還沒有公司開發出類似 Deep Image 的專用系統,利用深度學習算法去完成計算機視覺的相關工作。以下是論文中給出的配置信息:
這一系統包含 36 個服務器節點,每一服務器節點配備了 2 顆六核英特爾至強 E5-2620 處理器。每個服務器包含 4 顆英偉達 Tesla K40m GPU,以及 1 個 FDR InfiniBand(速度為 56GB/S)。這帶來了高性能、低延時的連接,以及對 RDMA 的支持。每一顆 GPU 的最高浮點運算性能為每秒 4.29 萬億次浮點運算,而每一顆 GPU 也配備了 12GB 的內存。
整體來看,Minwa 內置了 6.9TB 的主內存、1.7TB 的設備內存,而理論上的最高性能約為 0.6 千萬億次浮點運算。
百度開發 Minwa 是為了解決與 Deep Image 算法相關的問題。“考慮到隨機梯度優化算法的特性,設備互聯需要極高的帶寬和超低的延時,從而最小化通信開銷。對于這類算法的分布式版本來說,這是必要的。”論文作者表示。
憑借如此強大的系統,研究人員可以使用與其他深度學習項目不同,或者說更好的訓練數據。因此,百度沒有使用常見的 256x256 像素圖片,而是使用了 512x512 像素圖片,并且可以給這些圖片添加各種特效,例如色彩調整、增加光暈,以及透鏡扭曲等。這樣做的目的是使系統學習更多尺寸更小的對象,并在各種環境下識別 對象。
百度正在大力投資,研究深度學習算法。在 Deep Image 之前,百度還開發了語音識別系統 Deep Speech。這一產品已于去年 12 月公開發布。百度高管曾表示,該公司已經看見,語音和圖片搜索的比例正越來越高,而未來還將繼續上升。如果百度的產品能更好地處理現實世界數據,那么就能 帶來更好的用戶體驗。
百度并不是唯一一家從事此類研究的公司。在互聯網市場,有多家公司正在投資研發深度學習算法,并且已取得了不錯的成果。到目前為止,谷歌仍在 ImageNet 的實際競賽中保持最高紀錄。該公司也在大力開發深度學習算法,而本周還發布了可能利用了這一技術的新版谷歌翻譯服務。微軟和 非死book 也擁有知名的深度學習算法研究員,并正在這一先進研究領域繼續努力。
雅虎、推ter 和 Dropbox 等公司也擁有自己的深度學習和計算機視覺團隊。