百度開發超級計算機 用于深度學習算法研究

jopen 9年前發布 | 23K 次閱讀 百度 深度學習

百度開發超級計算機 用于深度學習算法研究


1 月 16 日,百度表示,正在開發全球最準確的計算機視覺系統 Deep Image。這一系統運行在針對深度學習算法優化的超級計算機之上。

百度稱,在 Imange Net 對象識別評分中,這一系統的錯誤率僅為 5.98%。而 2014 年,來自谷歌的一個團隊憑借 6.66% 的錯誤率獲得了冠軍。在試驗中,對于 Image Net 給出的數據集,人眼識別的錯誤率為 5.1%。

Deep Image 的主要優勢在于其超級計算機 Minwa。百度開發這一超級計算機的主要目的就是為了容納 Deep Image 系統。過去幾年,關注深度學習的研究者利用 GPU(圖形處理單元)去處理重度計算任務。實際上,Deep Image 的論文援引的一項研究顯示,在著名的谷歌 Brain 項目中,3 臺機器中 12 顆 GPU 帶來的性能就達到了包含 1000 個節點的 CPU 簇的水平。百度首席科學家吳恩達此前從事了谷歌 Brain 項目。

不過到目前為止,還沒有公司開發出類似 Deep Image 的專用系統,利用深度學習算法去完成計算機視覺的相關工作。以下是論文中給出的配置信息:

這一系統包含 36 個服務器節點,每一服務器節點配備了 2 顆六核英特爾至強 E5-2620 處理器。每個服務器包含 4 顆英偉達 Tesla K40m GPU,以及 1 個 FDR InfiniBand(速度為 56GB/S)。這帶來了高性能、低延時的連接,以及對 RDMA 的支持。每一顆 GPU 的最高浮點運算性能為每秒 4.29 萬億次浮點運算,而每一顆 GPU 也配備了 12GB 的內存。

整體來看,Minwa 內置了 6.9TB 的主內存、1.7TB 的設備內存,而理論上的最高性能約為 0.6 千萬億次浮點運算。

百度開發 Minwa 是為了解決與 Deep Image 算法相關的問題。“考慮到隨機梯度優化算法的特性,設備互聯需要極高的帶寬和超低的延時,從而最小化通信開銷。對于這類算法的分布式版本來說,這是必要的。”論文作者表示。

憑借如此強大的系統,研究人員可以使用與其他深度學習項目不同,或者說更好的訓練數據。因此,百度沒有使用常見的 256x256 像素圖片,而是使用了 512x512 像素圖片,并且可以給這些圖片添加各種特效,例如色彩調整、增加光暈,以及透鏡扭曲等。這樣做的目的是使系統學習更多尺寸更小的對象,并在各種環境下識別 對象。

百度正在大力投資,研究深度學習算法。在 Deep Image 之前,百度還開發了語音識別系統 Deep Speech。這一產品已于去年 12 月公開發布。百度高管曾表示,該公司已經看見,語音和圖片搜索的比例正越來越高,而未來還將繼續上升。如果百度的產品能更好地處理現實世界數據,那么就能 帶來更好的用戶體驗。

百度并不是唯一一家從事此類研究的公司。在互聯網市場,有多家公司正在投資研發深度學習算法,并且已取得了不錯的成果。到目前為止,谷歌仍在 ImageNet 的實際競賽中保持最高紀錄。該公司也在大力開發深度學習算法,而本周還發布了可能利用了這一技術的新版谷歌翻譯服務。微軟和 非死book 也擁有知名的深度學習算法研究員,并正在這一先進研究領域繼續努力。

雅虎、推ter 和 Dropbox 等公司也擁有自己的深度學習和計算機視覺團隊。

來自: 騰訊科技

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!