從單層感知器到深度學習以及深度學習必知的框架

一 單層神經網絡（感知器）

1.結構

下面來說明感知器模型。

在原來MP模型的“輸入”位置添加神經元節點，標志其為“輸入單元”。其余不變，于是我們就有了下圖：從本圖開始，我們將權值w1, w2, w3寫到“連接線”的中間。

圖1 單層神經網絡

在“感知器”中，有兩個層次。分別是輸入層和輸出層。輸入層里的“輸入單元”只負責傳輸數據，不做計算。輸出層里的“輸出單元”則需要對前面一層的輸入進行計算。

我們把需要計算的層次稱之為“計算層”，并把擁有一個計算層的網絡稱之為“單層神經網絡”。有一些文獻會按照網絡擁有的層數來命名，例如把“感知器”稱為兩層神經網絡。但在本文里，我們根據計算層的數量來命名。

假如我們要預測的目標不再是一個值，而是一個向量，例如[2,3]。那么可以在輸出層再增加一個“輸出單元”。

下圖顯示了帶有兩個輸出單元的單層神經網絡，其中輸出單元z1的計算公式如下圖。

圖2 單層神經網絡(Z1)

可以看到，z1的計算跟原先的z并沒有區別。

我們已知一個神經元的輸出可以向多個神經元傳遞，因此z2的計算公式如下圖。

圖3 單層神經網絡(Z2)

可以看到，z2的計算中除了三個新的權值：w4，w5，w6以外，其他與z1是一樣的。

整個網絡的輸出如下圖。

圖4 單層神經網絡(Z1和Z2)

目前的表達公式有一點不讓人滿意的就是：w4，w5，w6是后來加的，很難表現出跟原先的w1，w2，w3的關系。

因此我們改用二維的下標，用wx,y來表達一個權值。下標中的x代表后一層神經元的序號，而y代表前一層神經元的序號（序號的順序從上到下）。

例如，w1,2代表后一層的第1個神經元與前一層的第2個神經元的連接的權值（這種標記方式參照了Andrew Ng的課件）。根據以上方法標記，我們有了下圖。

圖5 單層神經網絡(擴展)

如果我們仔細看輸出的計算公式，會發現這兩個公式就是線性代數方程組。因此可以用矩陣乘法來表達這兩個公式。

例如，輸入的變量是[a1，a2，a3]T（代表由a1，a2，a3組成的列向量），用向量a來表示。方程的左邊是[z1，z2]T，用向量z來表示。

系數則是矩陣W（2行3列的矩陣，排列形式與公式中的一樣）。

于是，輸出公式可以改寫成：

g(W * a) = z;

這個公式就是神經網絡中從前一層計算后一層的矩陣運算。

2.效果

與神經元模型不同，感知器中的權值是通過訓練得到的。因此，根據以前的知識我們知道，感知器類似一個邏輯回歸模型，可以做線性分類任務。

我們可以用決策分界來形象的表達分類的效果。決策分界就是在二維的數據平面中劃出一條直線，當數據的維度是3維的時候，就是劃出一個平面，當數據的維度是n維時，就是劃出一個n-1維的超平面。

下圖顯示了在二維平面中劃出決策分界的效果，也就是感知器的分類效果。

圖6 單層神經網絡（決策分界）

二 兩層神經網絡（多層感知器）

1.結構

兩層神經網絡除了包含一個輸入層，一個輸出層以外，還增加了一個中間層。此時，中間層和輸出層都是計算層。我們擴展上節的單層神經網絡，在右邊新加一個層次（只含有一個節點）。

現在，我們的權值矩陣增加到了兩個，我們用上標來區分不同層次之間的變量。

例如ax(y)代表第y層的第x個節點。z1，z2變成了a1(2)，a2(2)。下圖給出了a1(2)，a2(2)的計算公式。

圖7 兩層神經網絡（中間層計算）

計算最終輸出z的方式是利用了中間層的a1(2)，a2(2)和第二個權值矩陣計算得到的，如下圖。

圖8 兩層神經網絡（輸出層計算）

假設我們的預測目標是一個向量，那么與前面類似，只需要在“輸出層”再增加節點即可。

我們使用向量和矩陣來表示層次中的變量。a(1)，a(2)，z是網絡中傳輸的向量數據。W(1)和W(2)是網絡的矩陣參數。如下圖。

圖9 兩層神經網絡（向量形式）

使用矩陣運算來表達整個計算公式的話如下：

g(W(1) * a(1)) = a(2);

g(W(2) * a(2)) = z;

由此可見，使用矩陣運算來表達是很簡潔的，而且也不會受到節點數增多的影響（無論有多少節點參與運算，乘法兩端都只有一個變量）。因此神經網絡的教程中大量使用矩陣運算來描述。

需要說明的是，至今為止，我們對神經網絡的結構圖的討論中都沒有提到偏置節點（bias unit）。事實上，這些節點是默認存在的。它本質上是一個只含有存儲功能，且存儲值永遠為1的單元。在神經網絡的每個層次中，除了輸出層以外，都會含有這樣一個偏置單元。正如線性回歸模型與邏輯回歸模型中的一樣。

偏置單元與后一層的所有節點都有連接，我們設這些參數值為向量b，稱之為偏置。如下圖。

圖10 兩層神經網絡（考慮偏置節點）

可以看出，偏置節點很好認，因為其沒有輸入（前一層中沒有箭頭指向它）。有些神經網絡的結構圖中會把偏置節點明顯畫出來，有些不會。一般情況下，我們都不會明確畫出偏置節點。

在考慮了偏置以后的一個神經網絡的矩陣運算如下：

g(W(1) * a(1) + b(1)) = a(2);

g(W(2) * a(2) + b(2)) = z;

需要說明的是，在兩層神經網絡中，我們不再使用sgn函數作為函數g，而是使用平滑函數sigmoid作為函數g。我們把函數g也稱作激活函數（active function）。

事實上，神經網絡的本質就是通過參數與激活函數來擬合特征與目標之間的真實函數關系。初學者可能認為畫神經網絡的結構圖是為了在程序中實現這些圓圈與線，但在一個神經網絡的程序中，既沒有“線”這個對象，也沒有“單元”這個對象。實現一個神經網絡最需要的是線性代數庫。

2.效果

與單層神經網絡不同。理論證明，兩層神經網絡可以無限逼近任意連續函數。

這是什么意思呢？也就是說，面對復雜的非線性分類任務，兩層（帶一個隱藏層）神經網絡可以分類的很好。

下面就是一個例子（此兩圖來自colah的博客），紅色的線與藍色的線代表數據。而紅色區域和藍色區域代表由神經網絡劃開的區域，兩者的分界線就是決策分界。

圖11 兩層神經網絡（決策分界）

可以看到，這個兩層神經網絡的決策分界是非常平滑的曲線，而且分類的很好。有趣的是，前面已經學到過，單層網絡只能做線性分類任務。而兩層神經網絡中的后一層也是線性分類層，應該只能做線性分類任務。為什么兩個線性分類任務結合就可以做非線性分類任務？

我們可以把輸出層的決策分界單獨拿出來看一下。就是下圖。

圖12 兩層神經網絡（空間變換）

可以看到，輸出層的決策分界仍然是直線。關鍵就是，從輸入層到隱藏層時，數據發生了空間變換。也就是說，兩層神經網絡中，隱藏層對原始的數據進行了一個空間變換，使其可以被線性分類，然后輸出層的決策分界劃出了一個線性分類分界線，對其進行分類。

這樣就導出了兩層神經網絡可以做非線性分類的關鍵–隱藏層。聯想到我們一開始推導出的矩陣公式，我們知道，矩陣和向量相乘，本質上就是對向量的坐標空間進行一個變換。因此，隱藏層的參數矩陣的作用就是使得數據的原始坐標空間從線性不可分，轉換成了線性可分。

兩層神經網絡通過兩層的線性模型模擬了數據內真實的非線性函數。因此，多層的神經網絡的本質就是復雜函數擬合。

下面來討論一下隱藏層的節點數設計。在設計一個神經網絡時，輸入層的節點數需要與特征的維度匹配，輸出層的節點數要與目標的維度匹配。而中間層的節點數，卻是由設計者指定的。因此，“自由”把握在設計者的手中。但是，節點數設置的多少，卻會影響到整個模型的效果。如何決定這個自由層的節點數呢？目前業界沒有完善的理論來指導這個決策。一般是根據經驗來設置。較好的方法就是預先設定幾個可選值，通過切換這幾個值來看整個模型的預測效果，選擇效果最好的值作為最終選擇。這種方法又叫做Grid Search（網格搜索）。

了解了兩層神經網絡的結構以后，我們就可以看懂其它類似的結構圖。例如EasyPR字符識別網絡架構（下圖）。

圖13 EasyPR字符識別網絡

EasyPR使用了字符的圖像去進行字符文字的識別。輸入是120維的向量。輸出是要預測的文字類別，共有65類。根據實驗，我們測試了一些隱藏層數目，發現當值為40時，整個網絡在測試集上的效果較好，因此選擇網絡的最終結構就是120，40，65。

3.訓練

下面簡單介紹一下兩層神經網絡的訓練。

在Rosenblat提出的感知器模型中，模型中的參數可以被訓練，但是使用的方法較為簡單，并沒有使用目前機器學習中通用的方法，這導致其擴展性與適用性非常有限。從兩層神經網絡開始，神經網絡的研究人員開始使用機器學習相關的技術進行神經網絡的訓練。例如用大量的數據（1000-10000左右），使用算法進行優化等等，從而使得模型訓練可以獲得性能與數據利用上的雙重優勢。

機器學習模型訓練的目的，就是使得參數盡可能的與真實的模型逼近。具體做法是這樣的。首先給所有參數賦上隨機值。我們使用這些隨機生成的參數值，來預測訓練數據中的樣本。樣本的預測目標為yp，真實目標為y。那么，定義一個值loss，計算公式如下。

loss = (yp - y)2

這個值稱之為損失（loss），我們的目標就是使對所有訓練數據的損失和盡可能的小。

如果將先前的神經網絡預測的矩陣公式帶入到yp中（因為有z=yp），那么我們可以把損失寫為關于參數（parameter）的函數，這個函數稱之為損失函數（loss function）。下面的問題就是求：如何優化參數，能夠讓損失函數的值最小。

此時這個問題就被轉化為一個優化問題。一個常用方法就是高等數學中的求導，但是這里的問題由于參數不止一個，求導后計算導數等于0的運算量很大，所以一般來說解決這個優化問題使用的是梯度下降算法。梯度下降算法每次計算參數在當前的梯度，然后讓參數向著梯度的反方向前進一段距離，不斷重復，直到梯度接近零時截止。一般這個時候，所有的參數恰好達到使損失函數達到一個最低值的狀態。

在神經網絡模型中，由于結構復雜，每次計算梯度的代價很大。因此還需要使用反向傳播算法。反向傳播算法是利用了神經網絡的結構進行的計算。不一次計算所有參數的梯度，而是從后往前。首先計算輸出層的梯度，然后是第二個參數矩陣的梯度，接著是中間層的梯度，再然后是第一個參數矩陣的梯度，最后是輸入層的梯度。計算結束以后，所要的兩個參數矩陣的梯度就都有了。

反向傳播算法可以直觀的理解為下圖。梯度的計算從后往前，一層層反向傳播。前綴E代表著相對導數的意思。

圖14 反向傳播算法

反向傳播算法的啟示是數學中的鏈式法則。在此需要說明的是，盡管早期神經網絡的研究人員努力從生物學中得到啟發，但從BP算法開始，研究者們更多地從數學上尋求問題的最優解。不再盲目模擬人腦網絡是神經網絡研究走向成熟的標志。正如科學家們可以從鳥類的飛行中得到啟發，但沒有必要一定要完全模擬鳥類的飛行方式，也能制造可以飛天的飛機。

優化問題只是訓練中的一個部分。機器學習問題之所以稱為學習問題，而不是優化問題，就是因為它不僅要求數據在訓練集上求得一個較小的誤差，在測試集上也要表現好。因為模型最終是要部署到沒有見過訓練數據的真實場景。提升模型在測試集上的預測效果的主題叫做泛化（generalization），相關方法被稱作正則化（regularization）。神經網絡中常用的泛化技術有權重衰減等。

三 多層神經網絡（深度學習）

1.結構

我們延續兩層神經網絡的方式來設計一個多層神經網絡。

在兩層神經網絡的輸出層后面，繼續添加層次。原來的輸出層變成中間層，新加的層次成為新的輸出層。所以可以得到下圖。

圖15 多層神經網絡

依照這樣的方式不斷添加，我們可以得到更多層的多層神經網絡。公式推導的話其實跟兩層神經網絡類似，使用矩陣運算的話就僅僅是加一個公式而已。

在已知輸入a(1)，參數W(1)，W(2)，W(3)的情況下，輸出z的推導公式如下：

g(W(1) * a(1)) = a(2);

g(W(2) * a(2)) = a(3);

g(W(3) * a(3)) = z;

多層神經網絡中，輸出也是按照一層一層的方式來計算。從最外面的層開始，算出所有單元的值以后，再繼續計算更深一層。只有當前層所有單元的值都計算完畢以后，才會算下一層。有點像計算向前不斷推進的感覺。所以這個過程叫做“正向傳播”。

下面討論一下多層神經網絡中的參數。

首先我們看第一張圖，可以看出W(1)中有6個參數，W(2)中有4個參數，W(3)中有6個參數，所以整個神經網絡中的參數有16個（這里我們不考慮偏置節點，下同）。

假設我們將中間層的節點數做一下調整。第一個中間層改為3個單元，第二個中間層改為4個單元。

經過調整以后，整個網絡的參數變成了33個。

雖然層數保持不變，但是第二個神經網絡的參數數量卻是第一個神經網絡的接近兩倍之多，從而帶來了更好的表示（represention）能力。表示能力是多層神經網絡的一個重要性質，下面會做介紹。

在參數一致的情況下，我們也可以獲得一個“更深”的網絡。

圖16 多層神經網絡（更深的層次）

上圖的網絡中，雖然參數數量仍然是33，但卻有4個中間層，是原來層數的接近兩倍。這意味著一樣的參數數量，可以用更深的層次去表達。

2.效果

與兩層層神經網絡不同。多層神經網絡中的層數增加了很多。

增加更多的層次有什么好處？更深入的表示特征，以及更強的函數模擬能力。

更深入的表示特征可以這樣理解，隨著網絡的層數增加，每一層對于前一層次的抽象表示更深入。在神經網絡中，每一層神經元學習到的是前一層神經元值的更抽象的表示。例如第一個隱藏層學習到的是“邊緣”的特征，第二個隱藏層學習到的是由“邊緣”組成的“形狀”的特征，第三個隱藏層學習到的是由“形狀”組成的“圖案”的特征，最后的隱藏層學習到的是由“圖案”組成的“目標”的特征。通過抽取更抽象的特征來對事物進行區分，從而獲得更好的區分與分類能力。

關于逐層特征學習的例子，可以參考下圖。

圖17 多層神經網絡（特征學習）

更強的函數模擬能力是由于隨著層數的增加，整個網絡的參數就越多。而神經網絡其實本質就是模擬特征與目標之間的真實關系函數的方法，更多的參數意味著其模擬的函數可以更加的復雜，可以有更多的容量（capcity）去擬合真正的關系。

通過研究發現，在參數數量一樣的情況下，更深的網絡往往具有比淺層的網絡更好的識別效率。這點也在ImageNet的多次大賽中得到了證實。從2012年起，每年獲得ImageNet冠軍的深度神經網絡的層數逐年增加，2015年最好的方法GoogleNet是一個多達22層的神經網絡。

在最新一屆的ImageNet大賽上，目前拿到最好成績的MSRA團隊的方法使用的更是一個深達152層的網絡！關于這個方法更多的信息有興趣的可以查閱ImageNet網站。

3.訓練

在單層神經網絡時，我們使用的激活函數是sgn函數。到了兩層神經網絡時，我們使用的最多的是sigmoid函數。而到了多層神經網絡時，通過一系列的研究發現，ReLU函數在訓練多層神經網絡時，更容易收斂，并且預測性能更好。因此，目前在深度學習中，最流行的非線性函數是ReLU函數。ReLU函數不是傳統的非線性函數，而是分段線性函數。其表達式非常簡單，就是y=max(x,0)。簡而言之，在x大于0，輸出就是輸入，而在x小于0時，輸出就保持為0。這種函數的設計啟發來自于生物神經元對于激勵的線性響應，以及當低于某個閾值后就不再響應的模擬。

在多層神經網絡中，訓練的主題仍然是優化和泛化。當使用足夠強的計算芯片（例如GPU圖形加速卡）時，梯度下降算法以及反向傳播算法在多層神經網絡中的訓練中仍然工作的很好。目前學術界主要的研究既在于開發新的算法，也在于對這兩個算法進行不斷的優化，例如，增加了一種帶動量因子（momentum）的梯度下降算法。

在深度學習中，泛化技術變的比以往更加的重要。這主要是因為神經網絡的層數增加了，參數也增加了，表示能力大幅度增強，很容易出現過擬合現象。因此正則化技術就顯得十分重要。目前，Dropout技術，以及數據擴容（Data-Augmentation）技術是目前使用的最多的正則化技術。

四 深度學習必知的框架

GitHub上其實還有很多不錯的開源項目值得關注，首先我們推薦目前規模人氣最高的TOP3：

一、Caffe。源自加州伯克利分校的Caffe被廣泛應用，包括Pinterest這樣的web大戶。與TensorFlow一樣，Caffe也是由C++開發，Caffe也是Google今年早些時候發布的DeepDream項目（可以識別喵星人的人工智能神經網絡）的基礎。

二、Theano。2008年誕生于蒙特利爾理工學院，Theano派生出了大量深度學習Python軟件包，最著名的包括Blocks和Keras。

四、Brainstorm。來自瑞士人工智能實驗室IDSIA的一個非常發展前景很不錯的深度學習軟件包，Brainstorm能夠處理上百層的超級深度神經網絡——所謂的公路網絡Highway Networks。

五、Chainer。來自一個日本的深度學習創業公司Preferred Networks，今年6月發布的一個Python框架。Chainer的設計基于define by run原則，也就是說，該網絡在運行中動態定義，而不是在啟動時定義，這里有Chainer的詳細文檔。

六、Deeplearning4j。 顧名思義，Deeplearning4j是”for Java”的深度學習框架，也是首個商用級別的深度學習開源庫。Deeplearning4j由創業公司Skymind于2014年6月發布，使用 Deeplearning4j的不乏埃森哲、雪弗蘭、博斯咨詢和IBM等明星企業。

DeepLearning4j是一個面向生產環境和商業應用的高成熟度深度學習開源庫，可與Hadoop和Spark集成，即插即用，方便開發者在APP中快速集成深度學習功能，可應用于以下深度學習領域：

八、ConvNetJS。這是斯坦福大學博士生Andrej Karpathy開發瀏覽器插件，基于萬能的JavaScript可以在你的游覽器中訓練神經網絡。Karpathy還寫了一個ConvNetJS的入門教程，以及一個簡潔的瀏覽器演示項目。

九、MXNet。出自CXXNet、Minerva、Purine等項目的開發者之手，主要用C++編寫。MXNet強調提高內存使用的效率，甚至能在智能手機上運行諸如圖像識別等任務。

十、Neon。由創業公司Nervana Systems于今年五月開源，在某些基準測試中，由Python和Sass開發的Neon的測試成績甚至要優于Caffeine、Torch和谷歌的TensorFlow。