NIPS會議機器學習相關內容盤點

今年的 NIPS 會議是當下人工智能和深度學習熱情的一個聚焦點 —— 從中能夠感受到機器學習領域的飛速發展，并且公開了兩家新的人工智能初創公司。參會人數相比2014年的大會幾乎翻倍（希望明年主辦方能設置多個分場），一些受歡迎的工作坊內摩肩接踵。由于大會有將近4000人參加卻只接收400篇論文，大部分人還是沖著學習和社交的目的而來。會議期間緊張的社交活動讓我想起了Burning Man（美國的一個反傳統狂歡節）—— 激動人心的感覺，高密度的自發的有趣交流，短期內的大量活動，當然還有持續的疲憊狀態。

有趣的演講和海報

Sergey Levine在擁擠的Deep Reinforcement Learning工作坊做的 機器人演示 （我們提早半個小時到達，才在地板上占據一席）。這個演講讓我感受到該領域迅猛的發展。演講是從一段今年夏天DARPA機器人挑戰賽的視頻開始，機器人試圖行走和開門的時候，不斷地失敗。Levine接著介紹了他的近期研究內容，主要是引導策略搜索(guided policy search)，在軌跡優化和神經網絡的監督訓練之間交替進行，還有復雜任務的分解。他演示的機器人視頻成功地完成了多個高度靈活的任務，比如開門，擰瓶蓋，把衣服架在衣架上。令人印象深刻！

Denton和Chintala帶來的是 用金字塔形對抗網絡生成圖片的模型 。用一個神經網絡作為生成器來生成逼真的圖像，另一個神經網絡來評價 —— 前者試圖生成以假亂真的圖片來迷惑后者，而后者需要將合成圖片與真實圖片區分開來。首先從一張粗糙的圖像開始，通過金字塔形的對抗網絡生成后一級比前一級更細致的圖像。在實驗中，最終的結果有40%被誤認為是真實圖像，在我制作海報的時候，大約有80%的圖像在我眼里就是真實的。

Salakhutdinov等人介紹的 Path-SGD 算法，一種尺度不變的隨機梯度下降算法。標準的SGD使用L2正則項來衡量參數空間的距離，權重的縮放會對優化效果產生巨大影響。相對于把最大的權重值作為單位長度，Path-SGD方法則是最小化所有經過縮放權重值的max-norm。這樣得到的norm（稱作“path  regularizer”）被證明對權重縮放具有不變性。這個方法有原理支持，并且取得良好的實踐結果。

Sukhbaatar等人介紹的 端到端記憶網絡 ——  記憶網絡 的一種擴展 —— 神經網絡學習對記憶模塊的讀取和寫入。與傳統的記憶網絡不同，這個端到端的版本不需要在每一層監督。這擴展了該方法的適用領域 —— 它與記憶網絡在問答方面、與LSTM在語言模型方面都很有競爭力。觀察這個模型完成基本的歸納推理任務也很有趣，比如物體的位置、顏色、大小等。

Algorithms Among Us 研討會

本次大會的一個亮點就是 Algorithms Among Us 研討會對機器學習的社會影響 ，我和其它 FLI 成員一起參與組織的。研討會由三個板塊和一些演講組成 —— 包括近期的人工智能影響，通用人工智能的時間表，以及效益型人工智能的重點研究計劃。研討會的組織者 (Adrian Weller, Michael Osborne  and Murray Shanahan) 召集了一大波AI各個方向的大腕，包括來自微軟的Cynthia Dwork，來自非死book的Yann LeCun，來自百度的Andrew Ng和來自DeepMind的Shane Legg。

Andrew Ng對他著名的觀點“擔心通用人工智能就像擔心火星上人口過剩”又進行了升華，改為了“半人馬座阿爾法星人口過剩”（難道火星人口過剩真的會發生？）他的主要觀點是即使超級預言家無法預知五年后的任何事情，所以任何長期的預測也都是無用的。這似乎像是人們普遍信念“我們一無所知，所以我們很安全”的一個實例。正如Murray所說，今后五年的完全不確定性也正意味著無法猜測未來20年實現通用人工智能的景象。令人鼓舞的是Ng贊同長期人工智能安全性的研究，他說這盡管不是他的興趣點，但應該有其它人去做。

在談到通用AI之路上剩余的里程碑時，Yann LeCun給了一個貼切的比喻，就像在迷霧中翻山越嶺旅行 —— 你能看到一部分，霧中還隱藏著未知事物。他還認為高級AI是不可能像人類一樣，告誡不要將它擬人化。

在重點研究計劃版塊，Shane Legg給了一些具體的建議 —— 目標系統的穩定性、可中斷性、沙箱/容器化，以及各種思維實驗的形式化（例如超智 Superintelligence ）。他指出AI安全既被夸大了，又得不到足夠重視 —— 而先進AI的風險不是如媒體所述的迫在眉睫，更多的思考和資源需要被投入到具有挑戰性的研究問題中。

討論會上提出的一個問題是關于AI系統可解釋性的重要性，它也是我當前研究項目的主題。AI系統在有效性和可解釋性的權衡之間存在一些分歧。LeCun認為解釋性的主要優勢是提高魯棒性，提高遷移學習水平應該就能實現，而不需要降低有效性。Percy Liang則認為需要透明性來給其它人解釋機器學習系統做了什么，在許多應用中這變得日趨重要。LeCun還指出機器學習系統通常被認為是透明的，如決策樹，而事實未必如此。人們對可解釋性的含義也存在歧義 —— Cynthia Dwork覺得，我們需要在作出任何結論前對問題有一個明確的定義。看來，在定義可解釋性和在不犧牲效能的前提下實現可解釋性，都還有很多工作要做。

總之，該研討會超級有趣，提供了大量的精神糧食（FLI成員Ariel做了一個 更詳細的總結 ）。感謝Adrian、Michael和Murray的辛勤工作。

AI初創公司

兩家新的AI初創公司在NIPS大會上宣告成立是一件令人興奮的事情 —— 由Ilya Sutskever領導和Musk, Altman等人支持的OpenAI，以及由 Zoubin Ghahramani和Gary Marcus領導的Geometric  Intelligence。

OpenAI 是一家非營利性企業，肩負著推進AI研究大眾化和保持其對人類有益的使命，有高達10億美元的承諾資金。他們相信在非盈利的、不受經濟利益影響的環境下發展AI技術更安全，而不是被營利性公司所壟斷。開源共享研究項目的想法在中短期內無疑是好的，但長期來看接近通用AI時會引起一些 擔憂 。一位OpenAI的研究員在 采訪 中表示，“我們沒有義務分享一切 —— 在這種情況下公司的名字有誤導性”，而且項目是否開源事實上也是具體案例具體分析。

OpenAI在最初幾年內計劃把重點放在深度學習領域， Geometric Intelligence 的發展方式有所不同，他們想用更少的數據來更有效地學習。 Gary Marcus 認為們需要更多地學習人類大腦是如何獲得知識的，從而開發先進AI系統（靈感來自于觀察他孩子認知世界的過程）。我期待著來自這些新公司和其他研究小組采取的各種方法和成果。

原文地址： Highlights and impressions from NIPS conference on machine learning （譯者/趙屹華 審校/劉翔宇 責編/仲浩）

譯者簡介： 趙屹華 ，計算廣告工程師@搜狗，前生物醫學工程師，關注推薦算法、機器學習領域。