猴年一樂：深度學習八卦史 燕樂存的屌絲逆襲
文/2shou
今天農歷初九，虐狗的情人節剛過，相信 2shou 的朋友們雖然到崗了，但身心還是維持在慵懶的假期狀態。沒事，這次我們不談嚴肅的技術話題，2shou 給你們講一段機器學習領域橫跨三十年的科技圈八卦史。
前陣有個熱門的新聞爆出來：谷歌的人工智能程序5：0 完勝歐洲圍棋冠軍，堪稱計算機攻陷了人類智慧碩果僅存的殿堂。其實這是一則老消息，發生時間在去年 10 月份，至于為什么這時才爆出來，據說是 非死book 剛對外宣稱要探索人工智能下圍棋的領域，谷歌放個風讓江湖上認清誰是真正的大佬。谷歌和 非死book 的八卦容后再表，近兩年人工智能領域發展飛速，全拜一種顛覆式思想的普及所賜：深度學習。而深度學習的普及，離不開一個人的功勞，這個號稱黑暗中舉著火炬的人，Yann Lecun，中文名燕樂存。
與大多數人的想象相反，深度學習的普及并不是一帆風順春風得意水到渠成的，而燕樂存的故事更像是屌絲逆襲。深度學習所依附的神經網絡技術起源于上世紀 50 年代，而燕樂存早在上世紀 80 年代就開始研究神經網絡的相關技術，并且做出了遠超過其他科學家的開創性貢獻，也是把多層神經網絡推進到深度學習概念的第一人。然而，受限于計算能力的落后，神經網絡一直不是機器學習領域的主流，在學術界備受其他學派的打壓，一度連文章都很難發表；在工程領域也沒有體現出比其他算法更好的性能，長期被 SVM 吊打。
機器學習發展的歷史中有一個最為出名的賭局，打賭的兩方分別是 SVM 的發明人 Vapnik 和他在貝爾實驗室的老大 Jackel，賭約的內容是截止到 2000 年，人們是否會認為神經網絡比 SVM 有更好的性能，而見證人正是那時還籍籍無名的燕樂存。顯然 SVM 大獲全勝。
曾經有位教授酒后吐真言，說了一句明白話，有人就有江湖，學術圈也不例外。機器學習的權威在 2012 年以前長期被其他學派所把持，大環境如此，燕樂存的團隊必然過不上好日子，始終無法在頂級期刊上發表文章，自然吸引不到最聰明的那些學生。但是，三十年如一日，燕樂存從來沒有隨波逐流，絲毫不放棄對神經網絡的研究，對深度學習的未來充滿信心，對科研成果的要求精益求精（甚至發明了一種新的語言替代 Python 做數值計算），直到 2012 年發生的一個標志性事件，才徹底翻了身。
這個標志性的事件，現在回頭看也似乎是偶然，燕樂存導師 Hinton 的幾個博士生在圖片分類的競賽 ImageNet 上爆冷擊敗了谷歌團隊，在機器學習的業界炸開了鍋（這個谷歌團隊可不一般，云集了 Andrew Ng 和 Jeff Dean 等一班神人）。而偶然的是，Hinton 的博士生用的正是燕樂存賴以成名的卷積神經網絡，但是燕樂存組的成員死活沒辦法復制 Hinton 的結果，專門開會反思為什么過去能沒有取得這樣的成績。好比一棵樹長年不開花，同根的另一棵樹卻意外長出了豐碩的果實。
至此深度學習壟斷了所有人工智能的新聞報道，一下子燕樂存和他的學生們變得炙手可熱，谷歌、非死book、推ter 們重金收購他們建立的初創公司，只為購買這些深度學習專家的時間，陪互聯網巨頭的精英工程師們聊聊天，就這么誕生了 10 來個千萬富翁。工業界的成功很快傳到了學術界，慣于見風使舵的學者們一下子來了個 180 度大轉變，現在是沒有和深度學習沾上邊的文章很難發表了。
而這時我們的主人公燕樂存又在做什么？除了主導 非死book 的 AI 實驗室，他不斷呼吁學術界對深度學習保持冷靜，批判深度學習的泡沫繁榮，這反差令人唏噓。
從燕樂存的故事中我們能學習到什么？
- 要堅持自己所選擇的，不要隨波逐流。雖然工業界的趨勢演變遠遠快于學術界，難得需要你堅持一個不被認可的想法長達三十年，但是許多偉大的 idea 初期也是不被人看好的，所以堅持自己的判斷同樣重要。
- 運氣存在的基礎是積累。風來了沒有積累，只想著當風口上的豬也沒用。深度學習浪潮興起之時，獲利最豐的只能是那些早就愿意在不被看好的神經網絡領域深耕的學者們。
- 一個事情的成果，做到符合人們的期望是不夠的；只要遠遠超出人們的期望，甚至讓所有人都大跌眼鏡，才能收獲俯首稱臣的認可。如果沒有在 ImageNet 上大比分擊敗谷歌的明星團隊，深度學習也就沒有今天的聲名大噪。
一篇八卦文，搏大家一樂而已，祝 2shou 的朋友們猴年快樂，開工大吉。
來自: guoze.me