深度學習：2016年大事記回放
2016年，人工智能發展火熱。作為人工智能一個重要分支的深度學習，也正在受到大家越來越多的關注。2016年是深度學習高速發展的一年。在這一年中，無論是工業界、學術界還是廣大群眾都投身到了深度學習的洪流之中。在工業界，谷歌（Google）、臉書（非死book）、百度、阿里巴巴等一系列國內外大公司紛紛對外公開宣布了人工智能將作為他們下一個戰略重心。在人才方面，繼深度學習界泰斗吳恩達（Andrew Ng）加入百度、Yann LeCun加入臉書之后，各大IT公司開始哄搶學術界大牛。斯坦福大學教授、計算機視覺領域領軍人物李飛飛（Feifei Li）于今年11月加入谷歌；卡內基梅隆大學教授、機器學習領域頂級人物Alex Smola于今年6月加入亞馬遜（Amazon）。在工具方面，谷歌、臉書、百度、微軟、亞馬遜等公司相繼開源了各自的深度學習框架，誰能引領人工智能的潮流將成為各大IT公司的下一個戰場。
在學術界，深度學習繼續推動著圖像識別、視頻分析、語音識別、語音合成、機器翻譯、自然語言處理、人機博弈等各個領域的發展。在2016年中，深度學習概念已經不再局限在大學實驗室或者頂級的IT公司里，隨著AlphaGo戰勝圍棋世界冠軍李世石、更多的無人駕駛車行駛在馬路上、Prisma推出基于深度學習的圖像風格轉換應用、自動寫作機器人的出現等等，大眾越來越能切身的感受到人工智能所帶來的改變。在下面的篇幅中，筆者將帶大家一起回顧一下2016年深度學習領域都發生了哪些值得關注的大事。
3月：AlphaGo戰勝李世石
在北京時間2016年3月15日的下午，谷歌開發的圍棋深度學習系統AlphaGo以總比分4：1戰勝了韓國棋手李世石，成為第一個在19×19棋盤上戰勝人類圍棋冠軍的智能系統。AlphaGo戰勝李世石把深度學習的概念從學術界推向了大眾，并點燃了大眾對于人工智能的巨大熱情。雖然AlphaGo不是第一個戰勝人類世界冠軍的系統，但AlphaGo的勝利絕對是人工智能歷史上的一座里程碑。
和1997年IBM的智能系統深藍（deep blue）擊敗國際象棋世界冠軍卡斯帕羅夫不同，完全依靠計算機的運算速度是幾乎無法在19×19的圍棋棋盤上戰勝人類的。為了在完整的圍棋棋盤上戰勝人類世界冠軍，AlphaGo需要使用更加智能的方式。深度學習技術為這種方式提供了可能。在AlphaGo的核心組成部分中，估值網絡（Value Network）和走棋網絡（Policy Network）都使用到了深度學習的技術，這也是AlphaGo背后真正的大腦。
雖然AlphaGo戰勝李世石將人工智能推向了一個新的高度，但它的能力也不應該被過分放大，更不應該認為人工智能全面超越人類的時代即將來臨。因為AlphaGo能夠解決的僅僅只是在一個特定環境中定義好的問題，要將人工智能系統真正的應用到開放環境還需要研究人員更多的努力。這也將是AI未來發展的方向。
4月：TensorFlow發布分布式版本
雖然TensorFlow早在去年11月就正式開源，但在開源初期卻受到了很大的爭議。單機版TensorFlow的最大問題在于無法有效的利用海量數據，而這正是深度學習最大的優勢之一。讓我們以谷歌提出的Inception-v3模型為例。該模型在ImageNet數據集上可以達到95%的正確率。然而要在單機上把Inception-v3模型訓練到78%的準確率需要接近半年的時間。如果要訓練到95%的正確率則需要數年。這在生產環境中簡直是無法忍受的。
為了解決這個問題，TensorFlow于今年4月發布了版本0.8.0。從該版本開始，TensorFlow開始支持分布式模型訓練。分布式TensorFlow可以極大的加速神經網絡的訓練過程，上圖展示了分布式TensorFlow的加速比率。從圖中我們可以看到，通過100個GPU并行的方式，Inception-v3模型的訓練速度可以加快65倍，這使得原來需要半年的訓練過程可以在不到3天的時間內得到結果。這也標志著TensorFlow從一個玩具變成了真正能用的工具。在TensorFlow 0.8.0發布不久，DeepMind也宣布之后的所有系統都將基于TensorFlow來開發。
雖然TensorFlow已經支持分布式，但如果類比TensorFlow和Hadoop系統，那么TensorFlow相當于只實現了Hadoop系統中MapReduce計算框架的部分。要將TensorFlow真正應用到真實的生產環境仍然存在門檻。不過，將Kubernetes與TensorFlow結合，通過Kubernetes實現對TensorFlow任務的監控、管理，可以有效解決這些問題。
6月：Prisma 圖像風格轉換App上線
Prisma是一款通過深度學習技術改變圖像風格的手機App。該應用上線之后，在短短一個星期時間內下載量超過了七百萬次，且擁有超過一百萬的活躍用戶。該應用的推出標志著深度學習技術不僅是一門科學，它更可以被應用于藝術領域。下圖展示了經過Prisma處理之后的圖片效果。Prisma的出現將深度學習技術從高深的學術研究推到了大眾的日常生活，讓其更加廣泛的被大眾所了解。在該軟件之后，更多圖像、視頻風格轉換（比如像臉書推出的Caffe2Go）、自動音樂作曲等軟件被陸續推出。
7月：谷歌智能數據中心
繼AlphaGo之后，谷歌的DeepMind團隊將深度學習的技術用在了智能數據中心上。通過增強學習（reinforcement learning），新的數據中心智能系統可以更好的配合機器內的風扇和數據中心的空調使得既可以保證所有機器的散熱，又可以最大限度的降低能源的消耗。通過控制數據中心內120多種不同的設備，智能數據中心可以節省大約15%的能源開銷，每年為谷歌節省數百萬美元的成本。而且這只是深度學習在智能數據中心應用的開始，DeepMind團隊還在嘗試安裝更多的傳感器和控制器使得數據中心的能源利用率可以進一步提升。
8月：SyntaxNet發布40種語言的語法分析模型
在今年5月，谷歌發布了基于深度學習的自然語言理解（Natural Language Understanding， NLU）算法框架SyntaxNet，并且提供了訓練好的英語語法分析器Parsey McParseface。在隨機抽取的Penn Treebank新聞數據集上，該語法分析器可以達到超過94%的準確率。這樣的正確率已經超過了以往所有的算法，并已經非常接近不同語言學家之間大約96%-97%的認同率。不同語言學家對同一句話可能有不同的分析，認同率刻畫了他們之間彼此認同的概率有多高，這也大致給出了計算機可以達到的理論上限。不過這只是在文法非常規范的新聞數據集上，在谷歌從網頁上整理得到的Web Treebank數據集上，Parsey McParseface可以達到大約90%的正確率。
在繼Parsey McParseface之后，谷歌于今年8月又開源了40種其他語言的分析模型，并且同時支持文本分割（Text segmentation）和形態學分析（Morphological Analysis）功能。到目前為止，通過SyntaxNet開源的模型已經可以分析覆蓋全球半數以上人口的母語，而且在大部分語言上，分析的準確率都是目前全球最高的。上圖展示了使用SyntaxNet中文分析模型對中文句子的語法分析結果。深度學習將自然語言處理問題中最基礎的語法分析問題又向前推近了一大步。將這些模型開源將大大加速自然語言處理領域的研究進展。
9月：谷歌上線基于深度學習的機器翻譯
今年9月，谷歌正式發布了基于神經網絡的機器翻譯系統（Googel Neural Machine Translation system，GNMT）。該系統基于深度學習技術，可以巨幅提高翻譯的準確率。與基于短語翻譯的傳統機器翻譯算法相比，基于深度學習的翻譯算法可以直接翻譯一整句話，這可以大大簡化翻譯系統的設計，同時更高效的利用海量訓練數據。根據谷歌的實驗結果，在主要的語言上，基于深度學習的翻譯算法可以將翻譯結果的質量提高55%到85%。下表對比了不同算法翻譯同一句話的結果。從這句話中，我們可以直觀的看到深度學習算法帶來的翻譯質量的提高。
不同翻譯算法的翻譯效果對比表
從今年9月開始，在谷歌翻譯產品中，所有從中文到英文的翻譯請求都是由基于深度學習的翻譯系統完成。谷歌使用的基于深度學習的翻譯系統完全是通過其開源產品TensorFlow實現的，該系統目前每天處理了接近兩千萬次翻譯請求。從中文翻譯成英文只是谷歌翻譯支持的一個語言對，之后谷歌還會將基于深度學習的翻譯算法應用到更多的語言對上。
11月：DeepMind和暴風雪公司開始在星際爭霸2上開展合作
在今年的3月，DeepMind團隊開發的AlphaGo戰勝人類圍棋世界冠軍不是人機博弈的終點，相反，這只是一個開始。DeepMind在今年11月正式開啟了和暴風雪游戲公司的合作，將他們下一個目標定在挑戰星際爭霸2這款即時戰略游戲上。相比圍棋，星際爭霸2是一個更加開放的環境，對于深度學習系統的設計難度又有指數級的提高。首先，雖然19×19的圍棋棋盤可能有多種不同的狀態，但星際爭霸2的狀態總數幾乎是無限的，再加上這款游戲對即時性的要求，所以將對整個深度學習提出更高的要求。其次，星際爭霸2是一個信息不對稱的系統，玩家只能看到自己的地圖，這要求深度學習系統對“局勢”做出判斷。
在BlizzCon 2016上，暴風雪公司宣布將開發一個對深度學習系統更加友好的API，從而正式開啟與DeepMind團隊的合作。上圖的右側展示了星際爭霸2的正常視角，而左側展示了提供給深度學習的視角，這樣可以方便深度學習統更好的獲取信息。相信在不遠的將來，深度學習將被更多的應用到開放環境中。深度學習系統將在更多競技運動中戰勝人類的同時，也將在更多領域將人類從重復勞動中解放出來。
12月：DeepMind Lab開源
為了讓深度學習系統能夠自己學會如何解決復雜問題，繼OpenAI開源了Universe項目之后，DeepMind于今年12月也開源了DeepMind Lab。DeepMind Lab是一個專門為人工智能研究設計的第一人稱3D游戲平臺。在這個游戲平臺中，智能體（agent）需要完成類似收集水果、走迷宮、穿越有懸崖的通道、使用發射臺在空間中移動等任務。如今DeepMind Lab已經成為DeepMind內部的一個主要研究平臺。
展望2017年的深度學習
2017年，相信深度學習將在以下幾個方面實現質的突破：
- 深度學習將從大學實驗室和頂級IT公司走向大眾，更多的公司將通過深度學習技術解決實際的問題。隨著深度學習工具的開源以及技術的成熟，越來越多的個人和企業將享受到深度學習技術所帶來的好處。
- 深度學習將覆蓋更多的領域。從2012年深度學習突破了傳統圖像識別技術的瓶頸并取得了ILSCRC（ImageNet Large Scale Visual Recognition Challenge）比賽的冠軍開始，深度學習能被應用到了越來越多的領域。在2017年中，筆者相信深度學習將繼續突破傳統技術的瓶頸，并將被應用到基因技術、個性化醫療、自媒體、公共安全、藝術、金融等各個領域中。
- 隨著AlphaGo戰勝李世石，深度學習系統在封閉環境下又取得了突破性進展。在2017年，相信深度學習系統將更多的嘗試在開放環境下的應用。無論是無人車還是智能星際爭霸2玩家或者是DeepMind Lab都將是深度學習在開放環境下的嘗試。
作者信息：
鄭澤宇，才云科技( Caicloud.io )聯合創始人、首席大數據科學家。其團隊成功開發全球首個成熟的分布式TensorFlow深度學習平臺（TensorFlow as a Service），解決了分布式TensorFlow上手難、管理難、監控難、上線難等問題。基于此平臺，才云大數據團隊為安防、電商、金融、物流等多個行業提供有針對性的人工智能解決方案。歸國創業之前，鄭澤宇曾任美國谷歌高級工程師。從 2013 年加入谷歌，鄭澤宇作為主要技術人員參與并領導了多個大數據項目。由他提出并主導的產品聚類項目用于銜接谷歌購物和谷歌知識圖譜（Knowledge Graph）數據，使得知識卡片形式的廣告逐步取代傳統的產品列表廣告，開啟了谷歌購物廣告在搜索頁面投遞的新紀元。他于2013年5月獲得美國 Carnegie Mellon University（CMU）大學計算機碩士學位，期間在頂級國際學術會議上發表數篇學術論文，并獲得西貝爾獎學金 (Siebel Scholarship)。
來自：http://www.infoq.com/cn/articles/deeplearning-2016-review