AAAI-16: 源遠流長，博大包容

jopen 8年前發布 | 12K 次閱讀數據挖掘

本文作者：微軟亞洲研究院實習生孫詩昭

AAAI 是人工智能領域的頂級會議，每年舉辦一次，今年已是第 30 屆，可謂源遠流長。這屆的 AAAI （ AAAI-16 ）共收到 2132 篇投稿，最終錄取 549 篇，其中包括了自然語言處理，機器學習，信息檢索，機器人，以及博弈論等多個領域的文章，涵蓋了人工智能領域的方方面面。 AAAI-16 的舉辦地在美國亞利桑那州的菲尼克斯，這是一個干旱炎熱的熱帶沙漠城市。雖然會議在 2 月份舉辦，當北半球絕大多數地方正處于寒冷的冬季，菲尼克斯的氣溫仍在 30 攝氏度以上。此次會議為期 6 天，前兩天是主題講座（ tutorial ），后四天是特邀報告（ invited talk ）及技術研討會（ technical session ）。

AAAI-16: 源遠流長，博大包容 ?AAAI-16的舉辦場所Phoenix Convention Center

AAAI-16: 源遠流長，博大包容 ?AAAI-16參會人員正在排隊注冊

豐富多樣的主題講座和特邀報告

AAAI-16 共舉辦了 16 場主題講座，每場持續 4 個小時。這些主題講座嚴謹考究地梳理了某些特定研究領域的發展歷史和前沿成果。今年的主題講座中，有對人類與人工智能的探討，如 Organ Exchanges — A Success Story of AI in Healthcare ， AI for Disasters 等；有為人工智能新人準備的入門講座，如 Deep Learning: from Foundations to Implementation ， How to Automatically Machine Read the Web 等；有人工智能領域的方法及理論的探討，如 Symbolic Methods for Hybrid Inference，Optimization, and Decision-making ， Answer Set Programming ModuloTheories 等。其中， Deep Learning: from Foundations to Implementation 是最為火爆的一場主題講座，不僅座無虛席，甚至在過道中都站滿了人。這場講座從線性分類器講起，指出了在特定的特征下，所有的分類的問題都可以用線性分類器解決。因此，問題便轉換成為如何提取好的特征。在機器學習發展的歷程中，人為的手動挑特征和利用核函數生成特征都是比較常用的方法。然而，人為的手動挑特征效率極低，不適合在高維特征和復雜問題時使用；核函數的設計不僅十分困難，并且依賴于具體問題。神經網絡提供了一種從數據中學習恰當特征的方法，它有效地避免了人為的手動挑特征和核函數的弊端。

此外， AAAI-16 還舉辦了多場特邀報告。特邀報告的主講人既有來自高校的著名教授，也有來自企業界的項目負責人。比起主題講座，特邀報告更加宏觀，更加偏重對人工智能領域發展的展望和預測。例如， AAAI 主席 Tom G. Dietterich 教授闡述了人們對于穩健 AI 的需求，提出了通往穩健 AI 的 8 種途徑； Toby Walsh 教授組織了關于人工智能與勞動力市場的討論，分析了人類如何面對越來越多的工作不斷的被自動化的機器所取代的趨勢等等。

AAAI-16: 源遠流長，博大包容 ?特邀報告準備中

AAAI-16: 源遠流長，博大包容 ?座無虛席的特邀報告現場

別出心裁的學生活動

在多場主題講座，特邀報告和技術研討會之外， AAAI-16 還為學生特別主辦了多場活動。其中最為火爆的是招聘會（ job fair ）和快速約會（ speed dating ）。在招聘會中，由 AAAI 的主辦方請來了多家業內頂尖公司，其中國內的百度，華為和嘀嘀打車也前來參與招聘。 AAAI-16 的參會學生可以自由參與招聘會，聽取招聘方的介紹，投遞簡歷及與招聘主管面對面交流。

在快速約會中，參與的學生每四人為一組，在五分鐘之內互相介紹自己的研究興趣。當五分鐘到時，鈴聲會響起，學生輪流依次交換座位，形成新的四人組，向新的伙伴介紹自己的研究興趣。在為期一個小時的快速約會中，我認識了很多和我有同樣研究興趣的同學，其中既有來自國內高校的也有來自國外高校的。此外，通過和一個做強化學習（ reinforcement learning ）的同學的交流，我快速地理解了最近興起的深度強化學習（ deep reinforcement learning ）和傳統的強化學習的區別。由于 AAAI 是一個綜合性的會議，在快速約會中我還與不同研究方向的同學進行了交流，比如來自自然語言處理，博弈論等方向的同學，這一類活動的舉辦對于年輕的參會學生來說是非常有益的。

微軟在 AAAI-16

微軟在 AAAI-16 在主會場設置了自己的展臺。在茶歇時，很多參會者都會到展臺觀看產品介紹，與工作人員互動和了解招聘情況。此外，微軟還向參會者著重推薦了自己的分布式深度學習工具： CNTK 。與其他的深度學習開源框架相比， CNTK 具有效率上的巨大優勢。這種效率優勢不僅體現在單機單卡的環境下，而且在單機多卡及多機多卡上均有體現。事實上，微軟亞洲研究院的機器學習組（ Machine Learning Group ）目前仍然在致力于用他們推出的開源分布式機器學習工具 DMTK 來提高 CNTK 在多機多卡時的運行效率，期待 DMTK 和 CNTK 的結合可以為我們帶來更高效、更易用的分布式深度學習工具。

AAAI-16: 源遠流長，博大包容 ?微軟的分布式深度學習工具

微軟亞洲研究院在 AAAI-16 上發表了多篇論文，可謂收獲頗豐。這些論文來自多個方向，比如來自信息檢索領域的文章 Improving Recommendation of Tail Tags for Questions in Community Question Answering ，來自機器學習與網絡領域的文章 Hashtag-Based Sub-Event Discovery Using Mutually Generative LDA in 推ter 等。

我們團隊的論文“ On the Depth of Deep Neural Networks: A theoretical View ”是一篇關于深度學習理論的文章。深度學習在各個應用領域取得的成果不勝枚舉，但是在理論方面卻相對欠缺。我們的論文將關注點放在神經網絡的深度上，從統計學習理論的角度，研究了深度對深度神經網絡泛化能力的影響。我們的理論結果定量地描述了：隨著深度的增加，神經網絡的泛化性能（用 Rademacher Complexity 衡量）變差，但是逼近性能（用 Betti Number 衡量）變好。從而，神經網絡存在最優的深度。我們在論文的準備過程中，首先重新回顧了神經網絡理論的發展歷史。在 90 年代，神經網絡曾經風靡一時，涌現出了一大批關于神經網絡的理論的文章。由于當時計算機計算能力和數據規模的限制，所用的神經網絡大多不是深層的，因此這個時期的理論也沒有關注深度問題。 2006 年之后，深度神經網絡被重磅推出，然而，對于深度神經網絡，很多現象都難以用 90 年代的理論去解釋了。這也是我們做這篇文章的初衷。我有幸對我們的工作進行了口頭報告。值得高興的是，我們的工作得到了大家的關注，報告現場擠滿了人，報告結束后后舉手提問的人也非常多。這個是讓我非常意外又驚喜的事情，因為在準備過程中我一直有點擔心理論的文章受眾范圍小并且難以讓觀眾快速理解，從而造成提問環節的冷場，但事實上大家對這個理論問題還是很感興趣的，也愿意多了解一些。

總的來說，這次參加 AAAI-16 讓我收獲頗豐。 AAAI 是一個綜合性很強的大會，在會議上我接觸到了很多新的領域并且認識了不同領域的研究者。此外， AAAI 組織的各種主題講座和特邀報告請到的都是非常資深的研究人員，從他們身上我不僅學到了新的知識，還學到了很多演講技巧。會議的整體氛圍也很好，無論是在中場休息（ coffee break ）還是海報環節（ poster session ），隨處可見討論的人。