關于深度學習，這可能是你最容易讀進去的科普貼了（四）

編者按：本文作者王川，投資人，中科大少年班校友，現居加州硅谷，個人微信號9935070，微博 @ 硅谷王川。 36 氪經授權轉載自其個人微信 公眾號 investguru。查看本系列文章點這里。

九十年代末，神經網絡研究遇到的困境，除了慢，還是慢。

拋開計算速度的因素，傳統神經網絡的反向傳播算法，捉蟲時極為困難，一個根本的問題叫做所謂 vanishing gradient problem (梯度消失問題)。

這個問題在 1991年，被德國學者 Sepp Hochreiter 第一次清晰提出和闡明原因。

簡單的說， 就是成本函數 (cost function) 從輸出層反向傳播時， 每經過一層,梯度衰減速度極快， 學習速度變得極慢，神經網絡很容易停滯于局部最優解而無法自拔。

這就像原始部落的小混混，山中無老虎時，在本地稱王稱霸很舒服。 但任何關于"外面的世界很精彩"的信息，在落后的層層傳播機制中被噪音混淆淹沒了。

小混混一輩子很開心， 沒有意識到外面的世界有多大， 也從未想出去多看看。

支持向量機 (SVM) 技術在圖像和語音識別方面的成功，使得神經網絡的研究重新陷入低潮。

SVM 理論上更加嚴謹完備，結果重復性好， 上手簡單， 得到主流學術界的追捧。

學術界的共識是： 多層神經網絡的計算模型，實踐效果不好，完全沒有前途。 這是個死胡同。

這個情況到本世紀初,變得如此糟糕， 以至于任何論文送到學術期刊時，研究者都不敢用 “神經網絡” 幾個字，免得被粗暴拒絕。

2003年，Geoffrey Hinton， 還在多倫多大學，在神經網絡的領域苦苦堅守。

一個五十六歲的窮教授， 搞了三十多年沒有前途的研究,要四處絞盡腦汁，化緣申請研究經費。他不是盧瑟 (loser) ， 誰還是盧瑟？

2003年 在溫哥華大都會酒店，以 Hinton 為首的十五名來自各地的不同專業的科學家，和加拿大先進研究院 (Canadan Institue oF Advanced Research, 簡稱 CIFAR) 的基金管理負責人，Melvin Silverman 交談。

Silverman 問大家，為什么 CIFAR 要支持他們的研究項目。

計算神經科學研究者，Sebastian Sung (現為普林斯頓大學教授)，回答道，“喔，因為我們有點古怪。如果 CIFAR 要跳出自己的舒適區，尋找一個高風險，極具探索性的團體，就應當資助我們了！”

最終 CIFAR 同意從 2004年 開始資助這個團體十年，總額一千萬加元。CIFAR 成為當時，世界上唯一支持神經網絡研究的機構。

不夸張地說，如果沒有 2004年 CIFAR 的資金支持，人類在人工智能的研究上可能還會在黑暗中多摸索幾年。

Hinton 拿到資金支持不久，做的第一件事，就是先換個牌坊。

兩千多年前的劉三， 改了名換了姓，叫什么 "漢高祖"。鑒于"神經網絡"口碑不好，也被 Hinton 改了名，換了姓，叫 "深度學習" (Deep Learning) 了。

Hinton 的同事，此后時不時會聽到他突然在辦公室大叫，"我知道人腦是如何工作的了！"。

2006年，Hinton 和合作者發表論文，"A fast algorithm for deep belief nets" (深信度網絡的一種快速算法)。

在這篇論文里，Hinton 在算法上的核心，是借用了統計力學里的"玻爾茲曼分布"的概念 (一個微粒在某個狀態的幾率，和那個狀態的能量的指數成反比，和它的溫度的倒數之指數成反比)，使用所謂的"限制玻爾茲曼機" (RBM) 來學習。

RBM 引入了統計力學常用的概率工具。而在七十年代，概率和不確定性恰恰是主流的人工智能的研究者極為痛恨的。

RBM 相當于一個兩層網絡，同一層神經元之間不可連接 (所以叫 "限制")，可以對神經網絡實現 “沒有監督的訓練”(unsupervised training)。深信度網絡就是幾層 RBM 疊加在一起。

略掉技術細節，RBM 可以從輸入數據中進行預先訓練，自己尋找發現重要的特征，對神經網絡連接的權重進行有效的初始化。這屬于一種叫做特征提取器 （feature extractor）的神經網絡，也稱自動編碼器 （autoencoder）。

經過 RBM 預先訓練初始化后的神經網絡，再用反向傳播算法微調,效果就好多了。

Hinton 后來指出，深度學習的突破，除了計算蠻力的大幅度提高以外聰明有效地對網絡鏈接權重的初始化也是一個重要原因。

Hinton 的論文里，經過六萬個 MNIST 數據庫的圖像培訓后，對于一萬個測試圖像的識別錯誤率最低降到了只有 1.25%。

雖然這還不足以讓主流學術界改變觀點，但深度學習的發展已經見到一絲曙光。

（未完待續）

本文來自讀者投稿，不代表 36氪 立場，如若轉載，請注明出處：http://36kr.com/p/5044091.html

“看完這篇還不夠？如果你也在創業，并且希望自己的項目被報道，請戳這里告訴我們！”