非死book人工智能負責人Yann LeCun談深度學習的局限性
6月7日到12日，世界頂級的計算機視覺會議CVPR在美國波士頓召開，會議邀請了非死book人工智能實驗室主任、NYU數據科學中心創始人、深度學習界的泰斗 Yann LeCun 做了題為“What's Wrong with Deep Learning?”的主題報告。早在20世紀80年代末，Yann LeCun就作為貝爾實驗室的研究員開發出了卷積網絡技術，并使用它大幅度提高了手寫字符的識別能力，目前美國許多手寫支票依然是采用他的方法在進行處理。上世紀末到本世紀初，當神經網絡失寵，Yann LeCun是少數幾名一直堅持研究的科學家之一。他于2003年成為紐約大學教授，在2013年底加入非死book負責新成立的人工智能實驗室，并一直引領著深度學習的發展。
最近幾年，深度學習在自然圖像理解和語音識別等多個領域產生了深遠的影響。2006 年，Geoffrey Hinton 提出了深度學習。受益于大數據的出現和大規模計算能力的提升，深度學習已然成為最活躍的計算機研究領域之一。深度學習的概念源于 人工神經網絡 的研究。在Yann LeCun的報告中， 他 首先回顧了人工神經網絡的發展，也介紹了人工神經網絡方法在字符識別、目標對象檢測、語義分割等領域所取得的成功應用，但同時，他更多的指出了深度學習所面臨的諸多的局限性。
首先，缺乏理論支持。對于深度學習架構，存在一系列的疑問，卷積神經網絡為什么是一個好的架構（事實上其存在梯度散射等缺點），深度學習的結構需要多少隱層，在一個大的卷積網絡中到底需要多少有效的參數（很多權重相互之間似乎都存在冗余），隨機梯度下降方法優化權重得到一個局部最優值。雖然深度學習在很多實際的應用中取得了突出的效果，但這些問題一直困擾著深度學習的研究人員。深度學習方法常常被視為黑盒，大多數的結論確認都由經驗而非理論來確定。不管是為了構建更好的深度學習系統，還是為了提供更好的解釋，深度學習都還需要更完善的理論支撐。
其次，缺乏推理能力。深度學習技術缺乏表達 因果關系 的手段，缺乏進行 邏輯推理 的方法。解決這個問題的一種典型方法是將 深度學習與結構化預測 相結合。目前幾個帶有結構化預測模塊的增強的深度學習系統已經被提出來用于OCR，身體姿態檢測，和語義分割等任務中。總的來說，更多新的思路應該被提出以應用于需要復雜推理的任務中。盡管深度學習和簡單推理已經應用于語音和手寫字識別很長一段時間了，我們仍需要在大的向量上使用新的范式來代替基于規則的字符表達式操作。最終，那些結合了復雜推理和表示學習的系統將為人工智能帶來巨大的進步。
第三，缺乏短時記憶能力。人類的大腦有著驚人的記憶功能，我們不僅能夠識別個體案例，更能分析輸入信息之間的整體邏輯序列。這些信息序列富含有大量的內容，信息彼此間有著復雜的時間關聯性。例如在自然語言理解的許多任務（例如問答系統）中需要一種方法來臨時存儲分隔的片段，正確解釋視頻中的 事件 并能夠回答有關它的問題需要記住的視頻中發生的事件的抽象表示。包括遞歸神經網絡在內的深度學習系統，都不能很好地存儲多個時間序列上的記憶。這使得研究人員提出在神經網絡中增加獨立的記憶模塊，如LSTM，記憶網絡（Memory Networks），神經圖靈機（Neural Turing Machines），和Stack增強RNN（stack-Augmented RNN）。雖然這些方法很有意思，也取得了一定的成果，但在未來仍需要更多的新的思路。
最后，缺乏執行無監督學習的能力。無監督學習在人類和動物的學習中占據主導地位，我們通過觀察能夠發現世界的內在結構，而不是被告知每一個客觀事物的名稱。有趣的是，在機器學習領域，神經網絡的復興恰恰是在無監督學習取得不斷進度的2000s中期，雖然無監督學習可以幫助特定的深度網絡進行“預訓練”，但最終絕大部分能夠應用于實踐的深度學習方法都是使用純粹的有監督學習。這并不能代表非監督學習在深度學習中沒有作用，反而具有非常大的潛力，因為我們擁有的非標記數據比標記數據多得多，只是我們還沒有找到很合適的非監督學習算法，非監督學習在未來存在巨大的研究空間。毫無疑問，今后計算機視覺的進步有賴于在無監督學習上取得突破，尤其是對于視頻的理解。
深度學習可以讓那些擁有多個處理層的計算模型來學習具有多層次抽象的數據的表示。這些方法在許多方面都帶來了顯著的改善，包括最先進的語音識別、視覺對象識別、對象檢測以及許多其它領域，例如藥物發現和基因組學等。當深度學習在業界掀起一片繁榮景象的時候， Yann LeCun 的報告在最恰當的時候為我們指出了深度學習當前所面臨的局限性，同時也為大量深度學習的從業人員指明了未來需要攻克的方向。
值得補充的是，為紀念人工智能提出60周年，《Nature》雜志在2015年5月28日專門開辟了一個“人工智能 + 機器人”專題，發表多篇相關論文，其中包括了Yann LeCun、Yoshua Bengio和Geoffrey Hinton首次合作的綜述性文章 “ Deep Learning ”。文章介紹了深度學習的基本原理和核心優勢，最后談到深度學習的未來方向：1）無監督學習；2）深度學習在機器視覺和自然語言理解上的突破；3）深度學習與復雜推理的結合。這也正好契合了Yann LeCun在報告中所談到的深度學習所面臨的局限性。
Yann LeCun在CVPR 2015上關于深度學習局限性的報告見 這里 ，你也可以在 Hacker News 上參與相關的討論。