諾亞神經響應機NRM模型：深度學習改變自然語言對話
圖靈測試是人工智能的夢想，它所要完成的任務是機器智能判定實驗，即讓機器和人能夠通過自然語言對話（Natural Language Dialogue，NLD）來溝通。這項長期困擾研究人員的工作，因為深度學習的引入，有了新的進展。
最新的 NLD 工作，在基于檢索的對話中引入深度學習，華為諾亞方舟實驗室（簡稱諾亞）是最早開始此項工作的玩家之一。從 2013 年開始，諾亞在短文本對話領域有一系列的工作【1】【2】【3】。今年 3 月初，諾亞的研究人員在 arXiv 上公布的一篇論文（這篇文章也將在今年 7 月的 ACL 會議上發表【4】），第一次提出了完全基于神經網絡的對話模型“神經響應機”（Neural Responding Machine，NRM），用于人機之間的單輪對話（single-turn dialog）。
諾亞研究人員介紹，對用戶說的話，NRM 用一種混合機制來進行表示，從而既對文本有整體的把握，又充分保留了句子的細節信息。在對輸入問題的表示的基礎上，NRM 采用了遞歸神經網絡（Recurrent Neural Network）來逐字的生成自然語言的句子作為回復。NRM 從五百萬個（微博，回復）對中學習人的回復，這些學到的模式存于系統的近四百萬參數中。因為 NRM 中部分采用了 attention 的機制，可以相對容易掌握比較復雜的模式，如：
人: 你好，我是利鋒。NRM: 利鋒你好！
當然，NRM 以及隨后出現的類似模型，如 Google 的 Neural Conversational Model（NCM）【5】， 還停留在對復雜語言模式記憶和組合上，尚無法在對話中使用外界的知識。例如，在對“看了昨晚恒大的比賽了嗎？”這樣的句子，無法給出真實的狀況（例如昨晚 恒大比賽的結果）相關的回復。
但依舊不能否認 NRM 的意義。此前的近幾十年，研究人員不懈努力而生成的對話系統（dialogue model），大都是基于規則和模板， 或者是在一個較大的對話數據庫中進行搜索。這種兩種方式并非真正的產生對話，又缺乏對語言的有效理解和表示。囿于模板/例子的數量和表示的局限性，這些方 式在準確性和靈活性上都存在一定的不足，很難兼顧語言的自然通順和內容的適當切題，效果與引入深度學習的模型不可同日而語。
所以說，NRM 模型的提出，更多的可能性和想象空間才剛剛開始。事實上，諾亞已經以此為基礎展開深度學習在對話方面的深入研究，包括多輪對話（multi-turn dialog），與強化學習（reinforcement learning）結合的對話管理，以及在對話中引入知識（knowledge）等。
參考文獻
【1】 H. Wang, Z. Lu, H. Li, E. Chen. A Dataset for Research on Short-text Conversations. In Proceedings of EMNLP, 2013
【2】 Z. Ji, Z. Lu, H. Li. An information Retrieval Approach to Short-text Conversation. arXiv: 1408.6988, 2014.
【3】 B. Hu, Z. Lu, H. Li, Q. Chen. Convolutional Neural Network Architectures for Matching Natural Language Sentences. In Advances of NIPS, 2014
【4】 L. Shang, Z. Lu, and H. Li. Neural Responding Machine for Short-text Conversation. In Proceedings of ACL,2015.
【5】 O. Vinyals, and Q. V. Le. A Neural Conversational Model. arXiv: 1506.05869，2015