英偉達打破實時對話AI的訓練和推理用時記錄

　　據國外媒體報道，Nvidia 用于開發和運行可理解和響應請求的對話式 AI 的 GPU 強化平臺，已經達成了一些重要的里程碑，并打破了一些記錄。

　　這對任何基于其技術進行開發的人來說意義重大——當中包括大大小小的公司，因為英偉達將很多用于實現這些進步的代碼開源。那些代碼用 PyTorch 編寫，易于運行。

　　英偉達今天宣布的最大成果包括：BERT 訓練用時打破記錄，進入 1 小時關口。BERT 是世界上最先進的人工智能語言模型之一，也被廣泛認為是自然語言處理（NLP）標桿的先進模型。Nvidia 的 AI 平臺僅僅需要 53 分鐘就能夠完成模型訓練，經過訓練的模型在短短 2 毫秒多一點的時間里(10 毫秒在業內被認為是高水平線)就能夠成功地做出推理(即利用通過訓練學習到的能力得出結果)——又一個記錄。

　　英偉達的這些突破不僅僅是吹噓的資本——這些進步可為任何使用 NLP 對話式人工智能和 GPU 硬件的人提供切實的好處。Nvidia 在它的其中一個 SuperPOD 系統上打破了訓練時間記錄，該 SuperPOD 系統由運行 1472 個 V100 GPU 的 92 個 Nvidia DGX-2H 系統組成；在運行 Nvidia TensorRT 的 Nvidia T4 GPU 上完成推理過程。Nvidia TensorRT 在性能上超出高度優化的 CPU 許多個量級。不過，該公司將公開 BERT 訓練代碼和經過 TensorRT 優化的 BERT 樣本，讓所有人都可以通過 GitHub 利用。

　　除了這些里程碑以外，英偉達的研究部門還建立并訓練了有史以來最大的一個基于“Transformer”的語言模型。這也是 BERT 的技術基礎。該定制模型包含的參數多達 83 億個，規模是當前最大的核心 BERT 模型 BERT-Large 的 24 倍。英偉達將這個模型命名為“Megatron”，它也對外提供了用于訓練這個模型的 PyTorch 代碼，因而其他人能夠自行訓練出類似的基于“Transformer”的大型語言模型。