浪潮開源深度學習框架 加速AI算法開發和應用效率

隨著人工智能的火熱，目前開源出來的深度學習框架非常多，如 Caffe、TensorFlow、MXNet、Torch 等等。框架眾多，如何選擇？選擇一種框架還是多種組合？針對不同的場景或者模型需要選擇什么樣的框架？面對多大數據量需要選擇多機并行的框架？這些我們針對深度學習框架所面臨的挑戰，難免會讓很多人犯難。

近期，浪潮與美國某知名的互聯網公司開展聯合測試，對主流的深度學習框架做了一個測評。把三個主流的框架 Caffe、TensorFlow 和 MXNet 部署到浪潮 SR-AI 整機柜服務器平臺上（配置 16 塊 GPU 卡），采用 ImageNet 數據集，測試 AlexNet 和 GoogLeNet 兩種典型網絡。

圖：浪潮聯合美國某知名的互聯網公司對主流深度學習框架的測試結果

從測試結果來看，當運行 AlexNet 網絡時，Caffe 性能最好，每秒可以訓練圖片張數達到 4675 張，16 個 GPU 比單個 GPU 的加速比達到 14 倍。其次是 MXNet，最后是 TensorFlow。

當運行 GoogLeNet 時，MXNet 性能最好，每秒可以訓練的圖片張數達到 2462 張，16 個 GPU 比單個 GPU 的加速比達到 12.7 倍。其次是 Caffe，最后是 TensorFlow。

從這個評測來看，基于不同的網絡，所選擇最優的框架是不一樣的。

基本上可以有大致的一個原則來選擇：我們會根據不同的場景和模型來選擇至少一種深度學習框架，目前很難說一種框架能在所有的應用場景中表現最優。

如果是圖像方面的應用，主要采用 Caffe、TensorFlow 和 MXNET 這三種框架；如果是語音的話，可以選擇 CNTK；自然語言處理的話可以采用 PaddlePaddle。

針對大數據量的訓練，采用單機訓練的話時間會很長，有可能是幾周或幾個月訓練出一個模型，需要采用分布式框架。浪潮自研的深度學習框架 Caffe-MPI，就實現了多機多 GPU 卡的并行訓練。通過實際測試，Caffe-MPI 采用 16 個 GPU 卡同時訓練時，每秒處理效率達到 3061 張，較單卡性能提升 13 倍，擴展效率達到 81%，性能將近是 TensorFlow 的 2 倍。

目前，浪潮 Caffe-MPI 框架目前已在 Github 開源，提供免費下載使用。與此同時，浪潮還推出 AI 管理軟件 AIStation，可以提供從數據準備到分析訓練結果的完整深度學習業務流程，支持 Caffe、TensorFlow、CNTK 等多種計算框架和 GoogleNet、VGG、ResNet 等多種模型。AIStation 支持對訓練過程實時監控并可視化訓練過程，支持打印每一步的損失函數值的日志、訓練誤差或測試誤差等；支持動態分配 GPU 資源實現資源合理共享，實現了“一鍵式”部署深度學習計算環境、快速啟動訓練任務；還可以實時監控集群的使用情況，合理安排訓練任務，可及時發現運行中的問題，提高集群的可靠性。

圖：浪潮 AI 管理軟件 AIStation

除此以外，浪潮還可提供天眼高性能應用特征監控分析系統，量化超算軟件特征，提取和記錄應用軟件在高性能計算機運行過程中實時產生的 CPU、內存、磁盤、網絡等系統信息和微架構信息，及時幫助使用者找到系統瓶頸，并能準確地分析出程序開發者的應用軟件特征，幫助用戶合理的劃分集群使用資源、提高使用效率。

有了強勁的 AI 計算平臺、適合的開發框架、高效的 AI 管理監控軟件，一個 AI 基礎平臺就基本構建完成，剩下的就是靠優化的算法把你所擁有的數據，轉化成更有價值的資源。

來自: 網易科技