機器學習的盛宴：NIPS 2015
作者：微軟亞洲研究院實習生：林添
冰雪王國的浪漫 機器學習的盛宴
NIPS （ Advances in Neural Information Processing Systems ，神經信息處理系統進展大會）是每年 12 月由 NIPS 基金會主辦的機器學習和神經計算領域的頂級會議，它由連接學派（ connectionist ）神經網絡的學者于 1987 年在加拿大創辦，后來隨著影響力逐步擴大，也曾移師美洲、歐洲等地舉辦。每年大會都吸引了機器學習、人工智能、統計等領域的眾多國際專家地參與。近年來，在工業界和科學界，神經網絡構建的深度學習方法取得了很多突破性的進展，在計算機視覺、語音識別、自然語言處理等領域也出現了大量的創新應用， NIPS 在機器學習領域的學術影響力變得舉足輕重。
本次 NIPS 大會在加拿大魁北克省的蒙特利爾舉行。蒙特利爾位于五大湖和圣勞倫斯河河口，是加拿大僅次于多倫多的第二大城市，同時也是加拿大的經濟之都，擁有發達的金融、電影、設計、航空產業。加拿大是是冰雪的王國，得益于此，蒙特利爾最受歡迎的運動便是冰球。這里還有很多繁華的地下城，即便是外面大雪紛飛，里面依然燈火通明。蒙特利爾更有眾多歐洲與北美風格融合的建筑，吸引了眾多好萊塢大片來這里取景。下圖便是蒙特利爾神圣、典雅的圣母院大教堂，加拿大著名歌手席琳·迪翁的婚禮就是在此舉行。
2015 年的 NIPS 大會于 12 月 7 日至 12 月 12 日在蒙特利爾的國會會展中心舉行。大會獲得了包括微軟在內的多家知名 IT 企業的大力贊助。今年共有 3755 名來自世界各地的研究人員注冊并參加了會議，相比去年參會人數幾乎翻倍。此次大會覆蓋的內容除了機器學習和神經科學領域，還包括認知科學、心理學、計算機視覺、統計語言學和信息論等多個領域。
大會日程包括教程（ tutorials ）、大會會議（ conference sessions) 、專題座談會（ symposia ）和研討會（ workshops ）四個部分。本次大會一共收到 1838 篇投稿，錄用論文 403 篇，錄取率為 21.9% ，論文淘汰的數量十分龐大。在這四百多篇論文中，論文方向極其多樣化，其中占比最大為深度學習相關論文，占 403 篇錄取論文中的 11% ，其次凸優化方向占了 5% 、統計學習理論占了 3% 。此次大會的論文展示環節主要包括口頭報告（ oral ）、聚光燈（ spotlight ）和海報（ poster ）三種展示形式。 NIPS 是計算機領域少數堅持單軌制（ singletrack ）的會議，這一制度這能讓參會人員更加專注于會議報告本身，但也使得錄取論文的展示時間相對有限。因此，僅有 15 篇論文獲得了寶貴的 20 分鐘口頭報告的機會。同時，少量論文獲得了 5 分鐘時間的聚光燈展示，而剩余絕大部分的論文展示都是海報為主。
智慧激蕩的論文 引人深思的討論
本次會議由大會主席 Terrence Sejnowski 致開幕詞，常任主席 CorinnaCortes 和 NeilLawrence 介紹了本次會議的投稿、審議標準和論文錄用等情況，這也揭開了 NIPS2015 的帷幕。本次大會的最佳論文獎頒給了“ CompetitiveDistribution Estimation: Why is Good-Turing Good ”（ http://papers.nips.cc/paper/5762-competitive-distribution-estimation-why-is-good-turing-good.pdf ）和“ FastConvergence of Regularized Learning in Games ”（ http://papers.nips.cc/paper/5763-fast-convergence-of-regularized-learning-in-games.pdf ）兩篇論文。
“ Competitive Distribution Estimation: Why is Good-TuringGood ”這篇論文屬于統計學習的理論研究范疇，它對估計離散變量的分布律這一普遍問題，提出了基于 Good-Turing 估計量的兩種改進方法，借助對先驗的最優估計量，給出了針對任意分布律的近似最優的高效估計。論文不僅指出這兩種方法可以快速收斂，同時還給出相應的理論分析。
“ Fast Convergence of Regularized Learning in Games ”這篇論文屬于博弈學習研究方向。博弈學習被廣泛研究，而該文章中指出一類正則化的學習算法可以大大改進帶問題本身有近期偏差（更傾向于近期的回報）的結果，它甚至可以被拓展到多玩家博弈的均衡問題。論文擴展了之前工作研究的二人零和博弈問題，指出在一類問題中如果每個玩家各自使用最優算法將達到更快收斂速度，大大拓展了原有理論對博弈的理解。
“ InteractiveIncremental Question Answering ”則獲得了本屆大會的突出展示獎。類似于微軟亞洲研究院幾年前推出的人立方系統，該展示系統能夠根據用戶給出的人物事實性描述和背景，去猜測出用戶希望知道的人名。在展示系統中，用戶可以給出幾句英文的描述，而系統基于依賴樹的遞歸神經網絡，學習用戶意圖，在語料庫中能夠找到答案，給出精準的回答。這一系統在大會上大受好評。
除了獲獎論文，大會上還有很多令人印象深刻的報告。“ Interactive Control of DiverseComplex Characters With Neural Networks ”（ http://papers.nips.cc/paper/5764-interactive-control-of-diverse-complex-characters-with-neural-networks.pdf ）文章則研究了如何借助遞歸神經網絡作為運動控制器的問題。在不進行運動捕捉以及任務相關的特征設計的前提下，實現了讓不同形態和動力系統機器人做出像游泳，飛行，雙足、四足行走等運動。
“ Sampling from Probabilistic Submodular Models ”（ http://papers.nips.cc/paper/5744-sampling-from-probabilistic-submodular-models.pdf ），這篇文章研究了一個有趣的采樣方法。次模函數是經常出現在經濟或計算機領域選址、覆蓋、圖像背景分割等問題中常見的函數，它描述了邊際效益遞減的一類特性。作者針對采樣概率是次模函數的函數值問題，提出了基于吉布斯采樣的方法，不僅保證多項式時間的復雜度，且具有很好的混合時間。
此外，在專題座談會上，眾多專家、學者們還在分會場中開展了有趣而深刻的對話和討論。“我們周邊的算法：機器學習的社會影響力”專題中關于機器人倫理的話題就很有意思。例如自動駕駛技術上就有一個兩難問題（ TunnelProblem ）亟待解決：設想你坐在一輛自動駕駛的汽車上，沿著山路的單行線行駛，此時突然有個小孩闖入道路，來不及剎車的情況下，就會面臨兩難選擇：是徑直向前，可能直接撞死小孩；還是撞向山崖，可能掉下懸崖？換句話說，自動駕駛的汽車應如何反應？又由誰來決定汽車的決策方式？這一類問題的核心其實是，對于機器學習算法中存在的決策失敗概率（風險），或者人類和機器的決策存在沖突時，我們該如何從法律、技術、道德等角度進行約束。
圖片來自互聯網
觸手可及的未來 博采眾長的前行
NIPS 大會在展示了相關領域最新研究成果的同時，也預示了機器學習的未來的發展趨勢。首先是神經網絡架構進一步復雜化。在圖像、機器翻譯等領域，越來越多的研究人員開始選擇 LSTM ，利用不同的感知機、目標函數，卷積或者遞歸架構神經網絡，在實際項目中實現更多有意思的應用。通過隨機方法近似 (stochasticapproximation) 的算法也受到不少關注。其次是自動推斷和黑盒學習技術的發展。今年大會上出現了不少和自動推理技術相關的論文，即通過機器自動推斷模型、預測結果。而工程領域的強勁需求也促生了更多可以快速迭代、低學習曲線的算法和系統，例如在本機大會上嶄露頭角的 STAN 、 python-autograd 等工具。此外還有對概率推斷的再審視。本次大會和研討會中，出現了一些對于概率推斷新認知的聲音。正如同期發表在《科學》雜志上的論文（ http://science.sciencemag.org/content/sci/350/6266/1332.full.pdf ）所呈現的一樣，相比深度學習對于大數據的需求，這種小樣本甚至單個樣本的模型都能得到不錯的預測結果，也促使我們重新審視人類大腦的思維和認知方式。
對于我個人來說，這是我在 NIPS 上的第二篇論文。去年，我參與合作的以在線機器學習中組合問題的純探索策略研究方向的論文有幸在 NIPS 的進行了口頭報告。今年，在之前的基礎上，我們深入研究，論文“ StochasticOnline Greedy Learning with Semi-bandit Feedbacks ”（ https://papers.nips.cc/paper/5930-stochastic-online-greedy-learning-with-semi-bandit-feedbacks.pdf ）被大會錄用，并受邀于 9 號晚上 7 點至 12 點進行海報展示。這篇論文是與清華的李建老師以及微軟亞洲研究院的陳衛老師合作，我們針對在線機器學習領域的組合學習策略研究，提出了一類新的模型，刻畫了貪心的學習方法在解決老虎機問題（ bandit ）中應用。我們提出的模型能夠借鑒貪心算法的優點，多次采樣進行參數估計，求解該問題。
論文海報展示的過程也彌足珍貴，在國內，我們精心制作了 2.4x1.2m 的大幅海報，并進行了多次的展示演練。在現場展示過程中，我們獲得了很多教授、研究員和同學的關注和駐足聆聽。通過講解自己的研究，回答聽眾們的問題，我將自己的成果分享給了在場的聽眾，同時，我也得到了很多同行們的建議與意見。通過與相關領域專家學者的深入交流，我也迸發出了更多的新想法，與會經歷受益匪淺。
關于作者： 林添，是微軟亞洲研究院的一名實習生，也是清華大學高等研究院和微軟亞洲研究院聯合培養博士生，本科畢業于清華大學計算機科學實驗班，主要研究方向為機器學習和社交網絡分析，曾在 ICML 、 NIPS 、 EC 等發表多篇論文。
了解微軟亞洲研究院實習生項目，歡迎關注“明日之星”實習生項目介紹。更多實習機會請見： http://www.msra.cn/zh-cn/jobs/interns/internopenings.aspx
推薦閱讀
歡迎關注
微軟亞洲研究院官方網站：http://www.msra.cn
微軟亞洲研究院微博：http://t.sina.com.cn/msra
微軟亞洲研究院微信：搜索“微軟研究院“或掃描下方二維碼:
來自： http://blog.sina.com.cn/s/blog_4caedc7a0102w4tz.html