深度學習三十年創新路
編者注：深度學習火了，從任何意義上，大家談論它的熱衷程度，都超乎想象。但是，似乎很少有人提出不同的聲音，說深度學習的火熱，有可能是過度的繁榮，乃至不理性的盲從。而這次，有不同的想法出現了。
本篇文章來自依圖科技CEO Leo的投稿，依圖科技是一家專注研究CV（Computer Vison，計算機視覺）的以技術驅動的創業公司，Leo自己也在這一領域有深入研究，因此這次寫下這篇文章，希望回顧一下深度學習三十年的創新之路。
近期Nature雜志刊登了Lecun、Bengio、Hinton的深度學習(deep learning)文章，是對最近深度學習火爆進展的總結，也是對他們三十年專注突破精神的最佳肯定。
深度學習火到什么程度呢？據我所知，在工業界，Google、非死book、微軟、百度、騰訊以及其它創業公司，沒有一家公司不用深度學習可 以做到頂級的智能識別實用精度（語音識別、人像識別等）。深度學習的廣泛應用，讓它載入史冊，可以比肩最近人工智能領域的圖靈獎工作--哈佛教 授 Leslie Valiant的可學習性理論（2010年圖靈獎，90年代初在此思想下誕生了著名的 Boosting 算法)、 UCLA教授 Judea Pearl 的基于概率推斷的人工智能（2011年圖靈獎，90年代末開始基于此思想的圖模型風靡學術界）。
上圖為Harvard教授 Leslie Valiant
UCLA教授 Judea Pearl
我時常和業內人士交流 ，包括硅谷的工程師、研究員（圖像分類、廣告推薦等），風險投資者，美國學術界的教授，還有在創業公司的和在學校實驗室做研究的清華、交大學生。大家對深度學習的歷史背景缺乏全面細膩的了解，甚至有些盲從。
在我創業前，深度學習還沒“火”，我在Yann Lecun的實驗室呆了一年，研究圖模型和深度學習的關系——當時對兩個體系都深刻理解的人幾乎沒有。而在本該功利的創業環境里，到目前為止，我們團隊還 未使用深度學習，顯得有些“另類”甚至“落伍”，所以帶著這樣熟悉又陌生的心情，今天想分享一下自己的體會，算是對深度學習以及Hinton和Lecun 的三十年創新之路的致敬。
首先，來介紹下Deep Learning的主要人物背景：
Geoff Hinton是深度學習學派的祖師爺，老爺子腰椎不好，經常得站著寫代碼到夜里一點，不能坐飛機，得坐火車從東邊到西邊去開會。
Geoff Hinton，deep learning 學派創始人之一
Yann Lecun 是 Geoff Hinton 三十年前的弟子。最近深度學習應用于智能理解特別廣泛的模型是卷積神經網（ConvNet），就是 Yann Lecun 發明的 / 命名的。在學術上，這和傳統的深度學習其他的模型有顯著性差異 —— 我甚至認為這是思想性的巨大差異（世界可學性的假設）。
上圖右為Yann Lecun，卷積神經網的發明者，Geoff Hinton的弟子
Andrew Ng 是 Michale Jordan（ Berkeley 教授，圖模型的泰斗）的明星弟子，Andrew 獨立后，在Stanford,、Google 和 Baidu 做的 反而是deep learning （有點武當弟子學了少林，或者少林弟子學了武當的意味）。后來做了網絡公開課程Coursera后名聲大噪，意義大大超越了其學術界的地位和范疇。
上圖為吳恩達（Andrew Ng），百度首席科學家，在線教育平臺coursera的創始人
歷史究竟發生了什么? 深度學習為什么突然火了？
標志性事件是，2012年底，Geoff Hinton的博士生Alex Krizhevsky、Ilya Sutskever（他們研究深度學習時間并不長）在圖片分類的競賽ImageNet上，識別結果拿了第一名。其實類似的比賽每年很多，但意義在 于，Google團隊也在這個數據集上做了測試（非公開的，Google沒有顯式參加學術界的“競賽”），用的也是深度學習，但識別精度比Geoff Hinton的團隊差了很多，這下工業界振奮了。
這個“Google團隊”的特殊意義在于，不同于其他Google團隊，這個項目受到Google足夠的戰略級重視，有著世界級的明星領導者，包 括 Andrew Ng，還有 Google 神人 Jeff Dean（他們在深度學習領域已投入很多，并到處宣講他們的戰果），以及業界無法企及的硬件和數據資源支持。我想，如果沒有這樣巨大反差，深度學習還不會 得到這么快的傳播和認可（當時的學術界還不知道Google內部的測試成績，只知道Geoff Hinton得了第一，擊敗了另一個學術界頂級的Oxford團隊；甚至今天，很多人還不知道這段歷史）。兩個“小毛孩”打敗了業界神話。到這 里，Google投入產出并不有說服力，甚至是可恥的。
工業界似乎不需要、也不該關心面子。緊接著，巨頭的壟斷游戲開始了。在機器學習方面頂級年度會議（NIPS），Google競價超過了微軟等其他 公司，收購了Alex Krizhevsky、Ilya Sutskever 和 Geoff Hinton 剛剛注冊幾個月的公司，好像是5000萬美元買了三個人的部分時間。現在，Google 做不好的人可以正式拉著 Geoff Hinton 聊天了；非死book作為回應，挖了Yann Lecun，讓他在紐約領導成立了 非死book AI lab；Andrew Ng則離開Google去了百度。
從“硬”結果來說，其實此時的百度做得不會比過去的 Google 差，但“軟”名聲還是因此提高很多：相比于Google X, 非死book AI lab, Google Brain等，“深度學習研究院”這個用算法命名部門的主意得要“魄力”的。后來Yann Lecun組的學生出來了一半，陸續開了幾家深度學習的創業公司，其中一家早被 推ter 收購。另外一些，加入 了 非死book 和 Google 。估計深度學習給 Geoff Hinton和 Yann Lecun 的組帶來了近十個千萬富翁。
但更有意思的是（很有啟發性并值得思考），Alex Krizhevsky 和 Geoff Hinton的競賽用的正是 Yann Lecun 發明的卷積神經網，但結果剛出來時（實現細節還沒有公布），Yann Lecun和他的NYU實驗室成員甚至沒法重復Geoff Hinton的結果。自己發明的算法，使用結果不如另外一個組。這下炸了鍋，Yann Lecun開了組會，反思的主題是“為什么過去兩年我們沒有得到這樣的成績” 。
高手過招，Idea is cheap; The devil is in the details （有想法很廉價；魔鬼在細節處）。想法其實很重要，但只能區分高手和普通人。高手都有想法，但誰才能創造歷史呢？Yann Lecun 這樣的實驗室需要反思什么呢？先看看他們有些什么吧。我經歷過巔峰時期的微軟亞洲研究院（十五年前，這里的實習生只能是名校的各系第一名）、 UCLA (排名10名左右)、MIT AI lab (計算機專業第一名)，實驗室的茶歇時間 Tea Time, 過道擠滿了頂級會議的最佳論文獲得者---NIPS, CVPR等 。基于以上經驗，我先介紹一下 Yann Lecun 實驗室的過人之處。
Yann Lecun上課教授和使用的是他自己寫的語言Lush，用來替代 matlab（很方便描述矩陣運算、圖像處理等）、python在科學研究的功能；他的 團隊三十年如一日的專注于神經網絡的研究，從不隨波逐流，課題覆蓋卷積神經網的方方面面。有的博士生聰明數學好，非常敏感于卷積神經網模型的深刻理解；有 的博士生專注于結構參數的行為分析（多少層啊之類）；有的博士生研究在不同數據分布（應用場景下）的表現，比如字母識別、圖像分類、物體檢測、場景分類 等。
這樣的學術堅持，是在怎樣的艱難背景下呢？人工智能領域，神經網絡思想在80年代末開始衰落，之后分別經歷了幾個劃時代的圖靈獎級工作的興起，統 計學習理論（帶來支持向量機 SVM 算法），可學習理論(帶來 Boosting 算法)，概率推斷（圖模型，graphical model）幾乎壟斷了過去的三十年。在之前提到2012年的 Geoff Hinton 團隊的深度學習打敗Google的標示性事件前，圖模型的思想橫掃計算機視覺領域（超越了boosting，SVM等）。這使得深度學習生 存艱難，沒有多少同行在研究中使用深度學習，更多年輕學生愿意去“時髦”的機器學習研究組。
2006年，Yann Lecun的文章還在闡述深度學習如何能跟當年流行的圖模型（比如條件隨機場模型）等價，證明自己的工作在不同數據集上也能和圖模型做到相當的識別精度。盡管在2012年末，Alex Krizhevsky、Ilya Sutskever 兩個“小毛孩”在競賽中用深度學習打敗了Google團隊，工業界炸鍋。但是，工業界對深度學習的追捧傳遞回學術界發生在一年以后 ，原因是， 除了頂級教授因為私人關系能知道工業界最前沿進展，大部分學術界教授并沒有公開渠道及時獲取信息，但這些教授卻是學術工作評審的主力。因此，直到2013 年，Yann Lecun 的文章在計算機視覺的頂級會議上（CVPR）依然很難發表（這時的深度學習在多項數據集上相比其他“傳統”方法并不排他性的出色）。
Yann Lecun 像戰士一下對抗著學術界的“庸俗”和“傳統”，在不同場合討伐從業人員的態度、標準和品味，公開發文抵制計算機視覺頂級會議CVPR，并于 2013年創辦了新的學術文章發布體系（ICLR）。可笑的是，僅僅不到兩年的時間，現在，視覺的文章沒用上深度學習很難發表。主流（不見得創造歷史）的 和最需要獨立思想和自由批判精神的年輕學者，卻似乎沒有節操的要和深度學習沾上邊（當上“千”個博士生都在研究深度學習的時候，應該不需要什么獨立見解和 勇氣）。今天，反而是三十年后卷土重來的Yann Lecun（還有Bengio，Geoff Hinton）愿意站在先鋒，批判性的談論深度學習的泡沫繁榮，呼吁學術界、資金擁有者冷靜。反差很是讓人感慨。
上圖為Yoshua Bengio
到底當時，Yann Lecun 和 Geoff Hinton的團隊細微差別在哪呢？高手也可能錯過什么呢？或許我們很難有接近事實的答案，原因可能很復雜；但技術上的分解（下次我會撰文就這個問題專門 討論一下，期待有興趣的朋友和我共同交流，郵箱：leo@yitu-inc.com）。以及對于歷史的真實解讀才有助于我們拋開浮華，啟發一樣追求創新的 我們，無論是學術研究還是創業。
附：作者和深度學習的關系： 作者 Leo 是依圖科技CEO，也是 加州大學洛杉磯分校（UCLA）統計學博士 ，師從 Alan Yuille 教授，思想上屬于 Bayesian 理念，繼承大師 Stuart Geman（美國數學家，科學院院士, 他和弟弟在84年的馬爾科夫隨機場奠基性工作，足足影響了之后三十年的科研歷史）、David Mumford（美國數學家，74年菲爾茲獎得主）和概率學大師Ulf Grenander開創的 Pattern Theory 學派（這些數學家的工作大大早于計算機領域的圖模型）。創立依圖前，作者在 Yann Lecun 的實驗室研究圖模型和深度學習的關系，可以從不同視角看深度學習。
原創文章，作者：苑伶