從NIPS2014大會看機器學習新趨勢

原文  http://blog.sina.com.cn/s/blog_4caedc7a0102vafg.html

微軟杰出科學家 John Platt

本文譯自： Machine Learning Trends fromNIPS 2014

編者按： John Platt 是微軟的杰出科學家，也是微軟在機器學習領域的領軍人物。加入微軟 17 年，一直在機器學習領域埋首耕耘。 Platt 也是 SVM 最快的加速算法 SMO 的提出者。 NIPS 大會是機器學習領域兩大重要學習會議之一，另外一個是 ICML 。接下來的文章中 Platt 將和大家分享他所觀察到的領域內令人激動的三大趨勢。

深度學習和神經網絡研究繼續保持快速增長的勢頭

深度學習是通過數據自動構建深度模型的過程。之所以稱之為“深度”是因為這些模型的計算需要經過多個步驟，而不是僅僅通過一兩個簡單步驟就可以解決的。深度學習一般都是利用神經網絡，通常都使用矩陣乘法和非線性構建建立它們的功能模型來完成的。

自 2011 年以來，深度學習的發展速度變得十分迅速。比如在圖像識別方向，深度學習取得了里程碑式的進展，對于圖像中物體的識別的錯誤率以每年 40% 的比例下降。深度學習在圖片方面的運用已不再僅限于圖片分類。

但是，目前機器學習面臨的一大挑戰是對強耦合輸出的整體估計。比如說，當你在翻譯一句話的時候，你并不會一個詞一個詞地翻譯，而是會從整體的句子結構出發。

之前，當機器學習算法估算出耦合輸出時，一般會再次進行顯式的推理計算，這樣就會導致運行速度十分緩慢。最近出現了一些能讓神經網絡進行隱式推理計算的研究成果，實在令人激動。在這次的 NIPS 大會中， IlyaSutskever 演示了 如何用深度LSTM模型進行機器翻譯 ，結果十分令人滿意，可以與目前最先進的機器翻譯系統媲美。 Ilya 的系統相對來說更綜合一些，它可以將輸入和輸出的順序進行對應。此外，大會上研究者們還展示了一些其它對跨時間、空間進行耦合輸出的研究。

JasonWeston 就在大會上展示了一篇論文，介紹了如何利用“內容尋址（ content-addressable ）”記憶來進行智能問答。 神經圖靈機 （ Neural Turing Machine ）也有類似的工作原理。

如今深度學習備受關注，研究員們也在努力探索它背后的奧秘。 Ba和Caruana 的一篇 NIPS 論文中解釋道，一旦深度網絡系統開發完備后，淺網絡便可以根據深度網絡的輸出來學習相應功能。淺網絡無法直接根據數據進行功能學習，這也意味著深度學習是關鍵所在。

很多人（包括 我們 ）在相關任務中都采用深神經網絡的中間層作為特征探測器。此次 NIPS 大會有一個很精彩的 演講 ，演講者做了一系列各種各樣的實驗 來研究這種模式。他們培養了一組有 500 個視覺類別的深度網絡，保持前 N 層不變，然后再培訓的一組不同的 500 個類別 。他們發現，如果使用中間層再培訓上層，你會由于次優的訓練而失去準確度。而如果你使用頂層，你則會由于功能過于具體而失去準確度。微調一下都會所有東西都會失去一些準確度。知道這一點是很有用的。

大規模的學習將變得更加可行

大規模的訓練（涉及各種模型）會持續成為一個很有趣的研究分支。雖然很多人都沒有 1TB 以上的訓練集，但是使用大規模的數據模型往往是非常有商業價值的。

機器學習的訓練是參數優化的一種形式：一個機器學習模型可以被看作一組具有被調節到最佳狀態旋鈕的訓練集。 大規模的訓練就會變成大規模的最優化。 尤里涅斯捷羅夫 （ Yurii Nesterov ） ，著名優化專家，在一個有意思的 演講 中談及了關于如何解決某些機器學習中參數的數量出現對數的優化問題。

當機器訓練在多臺計算機分別進行時，要盡量減少在計算機之間的通信量是十分具有挑戰性的一件事。訓練時間通常是由通信時間決定的。

這次大會上還有一個很不錯的演講，介紹了通過分布特征進行篩選的方法，所有節點之間只需要兩個階段的通信模式。 在我看來其前景十分可觀。

對機器學習實踐中限制因素的研究

我在這次 NIPS 大會上發現的另一個令人驚喜的趨勢是，如今越來越多的算法和理論研究者開始研究解決機器學習實踐者在實踐過程中遇到的問題。

在過去的幾年里，對抗性訓練（ adversarial training ）一直是讓人饒有興趣的研究主題。在對抗訓練中，研究人員不會試圖通過一個概率分布來為這個世界建模，而是扮演一個試圖讓算法表現不佳的反方。這樣研究人員便可以通過最佳狀態的反方的數據訓練來衡量自己的模型。

很多對抗性的訓練工作都相當有趣。在此次 NIPS 大會上，我看到了一些體現了對抗性訓練實用性的展示。對抗性的訓練的本質便是提供有可能出現的最壞情況。如果你創建了一個適用于“簡單數據（ easydata ）” 的算法，通常情況下你不會得到最壞的情況。但是，在大會主會場上展示的一篇 論文 卻提到，你可以有你的蛋糕（在簡單數據上表現良好）并且吃掉它（卻也能得到最壞的情況）。此外， 德魯·巴格內爾 （ Drew Bagnell ）在強化學習研討會（ Reinforcement Learning workshops ）的演講中提到要學會在現實世界中的控制策略，對抗性學習是必須的（因為你應該把你自己的錯誤決定如同反方因素來對待）。

在一個關于 軟件工程 的機器學習研討會上，有來自 LinkedIn ， Microsoft ， Netflix ，和 非死book 的演講者，分享他們是如何將機器學習運用于產品開發的經歷。一些來自谷歌的工程師合寫了一篇關于機器學習帶來的科技債務的 犀利論文 ，我強烈推薦相關領域的人能讀一讀這篇文章。