谷歌大腦顛覆深度學習混亂現狀，要用單一模型學會多項任務

本篇論文是谷歌大腦（Google Brain）與多倫多大學合作的最新論文。谷歌大腦團隊曾經負責研發了 AlphaGo 與 TensorFlow 框架等產品，其實力自然不消多說。而這一次谷歌大腦團隊更是向當前深度學習架構繁多、應用領域不一等混亂現狀發出挑戰，霸氣提出了通過單一模型聯合學習多項任務。那么該模型是否真的如此神奇呢？趕緊隨雷鋒網(公眾號：雷鋒網) AI 科技評論來看看吧。

以下內容是雷鋒網 AI 科技評論根據論文內容進行的部分編譯：

論文摘要

深度學習（Deep learning）算法在語音識別（Speeh recognition）、圖像分類（Image classification）和翻譯（Translation）等諸多領域都已經取得了非常好的結果。但是目前的缺陷是，針對這些不同領域的不同問題，要想深度學習模型能夠取得較好的效果，研究員就需要針對當前具體問題去研究具體的深度模型架構，然后再花費大量的時間對模型的參數進行微調優化。

圖一展示單個多模型（MultiModel）的解碼示例，該模型在 8 個任務中進行了聯合訓練。其中紅色的矩形框描繪了一種語言模式，而藍色的矩形框描繪了分類模式。

據了解，本論文的研究員提出了一種單一模型，該模型能夠在多個領域的不同問題中都取得較好的結果。另外值得一提的是，該單一模型可以在 ImageNet、多項翻譯任務、圖像標注（Image captioning，采用 COCO 數據集）、語音識別數據集和英語解析任務中同時進行訓練。據悉，該單一模型架構借鑒了來自多個領域的深度學習模型架構所使用的構建塊（Building blocks），該模型具有卷積層（Convolutional layers）、注意力機制（Attention mechanism）和稀疏門控層（Sparsely-gated layers）。并且模型中的每一個計算塊（Computational blocks）對于訓練任務中的某一子部分都至關重要。

圖二展示了一個多模型，該多模型具有模式網絡（Modality-nets）、編碼器（Encoder）和自回歸解碼器（Autoregressive decoder）。

在實驗的過程中，研究員們還發現了一個非常有趣的現象，即使模型架構中的某一個計算塊對于當前任務而言并不重要，但是實驗結果表明添加該計算塊到模型架構中并不會影響到最終效果，并且在大多數情況下，這種做法還能提高模型在所有任務上的表現效果。

圖三展示了多模型的架構，如果想獲得關于該模型的具體信息，請閱讀論文。

另外，在本論文中研究員們通過實驗還表明具有較少數據量的任務，能夠從將多個任務聯合起來進行訓練的方式中獲得巨大的收益，而對于擁有大量數據的任務而言，這種訓練方式將導致最終效果的略微下降。

來自: 雷鋒網