人人都可以做深度學習應用：入門篇
一、人工智能和新科技革命
2017年圍棋界發生了一件比較重要事，Master（Alphago）以60連勝橫掃天下，擊敗各路世界冠軍，人工智能以氣勢如虹的姿態出現在我們人類的面前。圍棋曾經一度被稱為“人類智慧的堡壘”，如今，這座堡壘也隨之成為過去。從2016年三月份AlphaGo擊敗李世石開始，AI全面進入我們大眾的視野，對于它的討論變得更為火熱起來，整個業界普遍認為，它很可能帶來下一次科技革命，并且，在未來可預見的10多年里，深刻得改變我們的生活。
其實，AI除了可以做我們熟知的人臉、語音等識別之外，它可以做蠻多有趣的事情。
例如，讓AI學習大量古詩之后寫古詩，并且可以寫出質量非常不錯的古詩。
又或者，將兩部設計造型不同的汽車進行融合，形成全新一種設計風格的新汽車造型。
還有，之前大家在朋友圈里可能看過的，將相片轉換成對應的藝術風格的畫作。
當前，人工智能已經在圖像、語音等多個領域的技術上，取得了全面的突破。與此同時，另外一個問題隨之而來，如果這一輪的AI浪潮真的將會掀起新的科技革命，那么在可預見的未來，我們整個互聯網都將發生翻天覆地的變化，深刻影響我們的生活。那么作為工程師的我，又應該以何種態度和方式應對這場時代洪流的沖擊呢？
在回答這個問題之前，我們先一起看看上一輪由計算機信息技術引領的科技革命中，過去30多年中國程序員的角色變化：
通過上圖可以簡總結：編程技術在不斷地發展并且走向普及，從最開始掌握在科學家和專家學者手中的技能，逐漸發展為一門大眾技能。換而言之，我們公司內很多資深的工程師，如果帶著今天對編程和計算機的理解和理念回到1980年，那么他無疑就是那個時代的計算機專家。
如果這一輪AI浪潮真的會帶來新的一輪科技革命，那么我們相信，它也會遵循類似的發展軌跡，逐步發展和走向普及。如果基于這個理解，或許，我們可以通過積極學習，爭取成為第一代AI工程師。
二、深度學習技術
這一輪AI的技術突破，主要源于深度學習技術，而關于AI和深度學習的發展歷史我們這里不重復講述，可自行查閱。我用了一個多月的業務時間，去了解和學習了深度學習技術，在這里，我嘗試以一名工程師的視角，以盡量容易讓大家理解的方式一起探討下深度學習的原理，盡管，受限于我個人的技術水平和掌握程度，未必完全準確。
1. 人的智能和神經元
人類智能最重要的部分是大腦，大腦雖然復雜，它的組成單元卻是相對簡單的，大腦皮層以及整個神經系統，是由神經元細胞組成的。而一個神經元細胞，由樹突和軸突組成，它們分別代表輸入和輸出。連在細胞膜上的分叉結構叫樹突，是輸入，那根長長的“尾巴”叫軸突，是輸出。神經元輸出的有電信號和化學信號，最主要的是沿著軸突細胞膜表面傳播的一個電脈沖。忽略掉各種細節，神經元，就是一個積累了足夠的輸入，就產生一次輸出（興奮）的相對簡單的裝置。
樹突和軸突都有大量的分支，軸突的末端通常連接到其他細胞的樹突上，連接點上是一個叫“突觸”的結構。一個神經元的輸出通過突觸傳遞給成千上萬個下游的神經元，神經元可以調整突觸的結合強度，并且，有的突觸是促進下游細胞的興奮，有的是則是抑制。一個神經元有成千上萬個上游神經元，積累它們的輸入，產生輸出。
人腦有1000億個神經元，1000萬億個突觸，它們組成人腦中龐大的神經網絡，最終產生的結果即是人的智能。
2. 人工神經元和神經網絡
一個神經元的結構相對來說是比較簡單的，于是，科學家們就思考，我們的AI是否可以從中獲得借鑒？神經元接受激勵，輸出一個響應的方式，同計算機中的輸入輸出非常類似，看起來簡直就是量身定做的，剛好可以用一個函數來模擬。
通過借鑒和參考神經元的機制，科學家們模擬出了人工神經元和人工神經網絡。當然，通過上述這個抽象的描述和圖，比較難讓大家理解它的機制和原理。我們以“房屋價格測算”作為例子，一起來看看：
一套房子的價格，會受到很多因素的影響，例如地段、朝向、房齡、面積、銀行利率等等，這些因素如果細分，可能會有幾十個。一般在深度學習模型里，這些影響結果的因素我們稱之為特征。我們先假設一種極端的場景，例如影響價格的特征只有一種，就是房子面積。于是我們收集一批相關的數據，例如，50平米50萬、93平米95萬等一系列樣本數據，如果將這些樣本數據放到而為坐標里看，則如下圖：
然后，正如我們前面所說的，我們嘗試用一個“函數”去擬合這個輸入（面積x）和輸出（價格y），簡而言之，我們就是要通過一條直線或者曲線將這些點“擬合”起來。
假設情況也比較極端，這些點剛好可以用一條“直線”擬合（真實情況通常不會是直線），如下圖：
那么我們的函數是一個一次元方程f(x) = ax +b，當然，如果是曲線的話，我們得到的將是多次元方程。我們獲得這個f(x) = ax +b的函數之后，接下來就可以做房價“預測”，例如，我們可以計算一個我們從未看見的面積案例81.5平方米，它究竟是多少錢？
這個新的樣本案例，可以通過直線找到對應的點（黃色的點），如圖下：
粗略的理解，上面就是AI的概括性的運作方式。這一切似乎顯得過于簡單了？當然不會，因為，我們前面提到，影響房價其實遠不止一個特征，而是有幾十個，這樣問題就比較復雜了，接下來，這里則要繼續介紹深度學習模型的訓練方式。這部分內容相對復雜一點，我盡量以業務工程師的視角來做一個粗略而簡單的闡述。
3. 深度學習模型的訓練方式
當有好幾十個特征共同影響價格的時候，自然就會涉及權重分配的問題，例如有一些對房價是主要正權重的，例如地段、面積等，也有一些是負權重的，例如房齡等。
（1）初始化權重計算
那么，第一個步其實是給這些特征加一個權重值，但是，最開始我們根本不知道這些權重值是多少？怎么辦呢？不管那么多了，先給它們隨機賦值吧。隨機賦值，最終計算出來的估算房價肯定是不準確的，例如，它可能將價值100萬的房子，計算成了10萬。
（2）損失函數
因為現在模型的估值和實際估值差距比較大，于是，我們需要引入一個評估“不準確”程度的衡量角色，也就是損失（loss）函數，它是衡量模型估算值和真實值差距的標準，損失函數越小，則模型的估算值和真實值的察覺越小，而我們的根本目的，就是降低這個損失函數。讓剛剛的房子特征的模型估算值，逼近100萬的估算結果。
（3）模型調整
通過梯度下降和反向傳播，計算出朝著降低損失函數的方向調整權重參數。舉一個不恰當的比喻，我們給面積增加一些權重，然后給房子朝向減少一些權重（實際計算方式，并非針對單個個例特征的調整），然后損失函數就變小了。
（4）循環迭代
調整了模型的權重之后，就可以又重新取一批新的樣本數據，重復前面的步驟，經過幾十萬次甚至更多的訓練次數，最終估算模型的估算值逼近了真實值結果，這個模型的則是我們要的“函數”。
為了讓大家更容易理解和直觀，采用的例子比較粗略，并且講述深度學習模型的訓練過程，中間省略了比較多的細節。講完了原理，那么我們就開始講講如何學習和搭建demo。
三、深度學習環境搭建
在2個月前（2016年11月），人工智能對我來說，只是一個高大上的概念。但是，經過一個多月的業余時間的認真學習，我發現還是能夠學到一些東西，并且跑一些demo和應用出來的。
1. 學習的提前準備
（1）部分數學內容的復習，高中數學、概率、線性代數等部分內容。（累計花費了10個小時，，挑了關鍵的點看了下，其實還是不太夠，只能讓自己看公式的時候，相對沒有那么懵）
（2）Python基礎語法學習。（花費了3個小時左右，我以前從未寫過Python，因為后面Google的TensorFlow框架的使用是基于Python的）
（3）Google的TensorFlow深度學習開源框架。（花費了10多個小時去看）
數學基礎好或者前期先不關注原理的同學，數學部分不看也可以開始做，全憑個人選擇。
2. Google的TensorFlow開源深度學習框架
深度學習框架，我們可以粗略的理解為是一個“數學函數”集合和AI訓練學習的執行框架。通過它，我們能夠更好的將AI的模型運行和維護起來。
深度學習的框架有各種各樣的版本（ Caffe 、 Torch 、 Theano 等等），我只接觸了Google的TensorFlow，因此，后面的內容都是基于TensorFlow展開的，它的詳細介紹這里不展開講述，建議直接進入官網查看。非常令人慶幸的是TensorFlow比較早就有中文社區了，盡管里面的內容有一點老，搭建環境方面有一些坑，但是已經屬于為數不多的中文文檔了，大家且看且珍惜。
3. TensorFlow環境搭建
環境搭建本身并不復雜，主要解決相關的依賴。但是，基礎庫的依賴可以帶來很多問題，因此，建議盡量一步到位，會簡單很多。
（1）操作系統
我搭建環境使用的機器是騰訊云上的機器，軟件環境如下：
操作系統：CentOS 7.2 64位（GCC 4.8.5）
因為這個框架依賴于python2.7和glibc 2.17。比較舊的版本的CentOS一般都是python2.6以及版本比較低的glibc，會產生比較的多基礎庫依賴問題。而且，glibc作為Linux的底層庫，牽一發動全身，直接對它升級是比較復雜，很可能會帶來更多的環境異常問題。
（2）軟件環境
我目前安裝的Python版本是python-2.7.5，建議可以采用yum install python的方式安裝相關的原來軟件。然后，再安裝 python內的組件包管理器pip，安裝好pip之后，接下來的其他軟件的安裝就相對比較簡單了。
例如安裝TensorFlow，可通過如下一句命令完成（它會自動幫忙解決一些庫依賴問題）：
pip install -U tensorflow
這里需要特別注意的是，不要按照TensorFlow的中文社區的指引去安裝，因為它會安裝一個非常老的版本（0.5.0），用這個版本跑很多demo都會遇到問題的。而實際上，目前通過上述提供的命令安裝，是tensorflow (1.0.0)的版本了。
Python（2.7.5）下的其他需要安裝的關鍵組件：
tensorflow (0.12.1)，深度學習的核心框架
image (1.5.5)，圖像處理相關，部分例子會用到
PIL (1.1.7)，圖像處理相關，部分例子會用到
除此之后，當然還有另外的一些依賴組件，通過pip list命令可以查看我們安裝的python組件：
appdirs (1.4.0) backports.ssl-match-hostname (3.4.0.2) chardet (2.2.1) configobj (4.7.2) decorator (3.4.0) Django (1.10.4) funcsigs (1.0.2) image (1.5.5) iniparse (0.4) kitchen (1.1.1) langtable (0.0.31) mock (2.0.0) numpy (1.12.0) packaging (16.8) pbr (1.10.0) perf (0.1) PIL (1.1.7) Pillow (3.4.2) pip (9.0.1) protobuf (3.2.0) pycurl (7.19.0) pygobject (3.14.0) pygpgme (0.3) pyliblzma (0.5.3) pyparsing (2.1.10) python-augeas (0.5.0) python-dmidecode (3.10.13) pyudev (0.15) pyxattr (0.5.1) setuptools (34.2.0) six (1.10.0) slip (0.4.0) slip.dbus (0.4.0) tensorflow (1.0.0) urlgrabber (3.10) wheel (0.29.0) yum-langpacks (0.4.2) yum-metadata-parser (1.1.4)
按照上述提供的來搭建系統，可以規避不少的環境問題。
搭建環境的過程中，我遇到不少問題。例如：在跑官方的例子時的某個報，AttributeError: ‘module’ object has no attribute ‘gfile’，就是因為安裝的TensorFlow的版本比較老，缺少gfile模塊導致的。而且，還有各種各樣的。
更詳細的安裝說明：
https://www. tensorflow.org/install/ install_linux
（3）TensorFlow環境測試運行
測試是否安裝成功，可以采用官方的提供的一個短小的例子，demo生成了一些三維數據, 然后用一個平面擬合它們（官網的例子采用的初始化變量的函數是initialize_all_variables，該函數在新版本里已經被廢棄了）：
!/usr/bin/python
coding=utf-8
importtensorflowas tf importnumpyas np
使用 NumPy 生成假數據(phony data), 總共 100 個點.
x_data = np.float32(np.random.rand(2, 100)) # 隨機輸入 y_data = np.dot([0.100, 0.200], x_data) + 0.300
構造一個線性模型
# b = tf.Variable(tf.zeros([1])) W = tf.Variable(tf.random_uniform([1, 2], -1.0, 1.0)) y = tf.matmul(W, x_data) + b
最小化方差
loss = tf.reduce_mean(tf.square(y - y_data)) optimizer = tf.train.GradientDescentOptimizer(0.5) train = optimizer.minimize(loss)
初始化變量,舊函數（initialize_all_variables）已經被廢棄，替換為新函數
init = tf.global_variables_initializer()
啟動圖 (graph)
sess = tf.Session() sess.run(init)
擬合平面
for stepin xrange(0, 201): sess.run(train) if step % 20 == 0: printstep, sess.run(W), sess.run(b)
得到最佳擬合結果 W: [[0.100 0.200]], b: [0.300]
</pre>
運行的結果類似如下：
經過200次的訓練，模型的參數逐漸逼近最佳擬合的結果（W: [[0.100 0.200]], b: [0.300]），另外，我們也可以從代碼的“風格”中，了解到框架樣本訓練的基本運行方式。雖然，官方的教程后續會涉及越來越多更復雜的例子，但從整體上看，也是類似的模式。
步驟劃分：
- 準備數據：獲得有標簽的樣本數據（帶標簽的訓練數據稱為有監督學習）；
- 設置模型：先構建好需要使用的訓練模型，可供選擇的機器學習方法其實也挺多的，換而言之就是一堆數學函數的集合；
- 損失函數和優化方式：衡量模型計算結果和真實標簽值的差距；
- 真實訓練運算：訓練之前構造好的模型，讓程序通過循環訓練和學習，獲得最終我們需要的結果“參數”；
- 驗證結果：采用之前模型沒有訓練過的測試集數據，去驗證模型的準確率。
其中，TensorFlow為了基于python實現高效的數學計算，通常會使用到一些基礎的函數庫，例如Numpy（采用外部底層語言實現），但是，從外部計算切回到python也是存在開銷的，尤其是在幾萬幾十萬次的訓練過程。因此，Tensorflow不單獨地運行單一的函數計算，而是先用圖描述一系列可交互的計算操作流程，然后全部一次性提交到外部運行（在其他機器學習的庫里，也是類似的實現）。所以，上述流程圖中，藍色部分都只是設置了“計算操作流程”，而綠色部分開始才是真正的提交數據給到底層庫進行實際運算，而且，每次訓練一般是批量執行一批數據的。
四、經典入門demo：識別手寫數字（MNIST）
常規的編程入門有“Hello world”程序，而深度學習的入門程序則是MNIST，一個識別28*28像素的圖片中的手寫數字的程序。
深度學習的內容，其背后會涉及比較多的數學原理，作為一個初學者，受限于我個人的數學和技術水平，也許并不足以準確講述相關的數學原理，因此，本文會更多的關注“應用層面”，不對背后的數學原理進行展開，感謝諒解。
1. 加載數據
程序執行的第一步當然是加載數據，根據我們之前獲得的數據集主要包括兩部分：60000的訓練數據集（mnist.train）和10000的測試數據集（mnist.test）。里面每一行，是一個28*28=784的數組，數組的本質就是將28*28像素的圖片，轉化成對應的像素點陣。
例如手寫字1的圖片轉換出來的對應矩陣表示如下：
之前我們經常聽說，圖片方面的深度學習需要大量的計算能力，甚至需要采用昂貴、專業的GPU（Nvidia的GPU），從上述轉化的案例我們就已經可以獲得一些答案了。一張784像素的圖片，對學習模型來說，就有784個特征，而我們實際的相片和圖片動輒幾十萬、百萬級別，則對應的基礎特征數也是這個數量級，基于這樣數量級的數組進行大規模運算，沒有強大的計算能力支持，確實寸步難行。當然，這個入門的MNIST的demo還是可以比較快速的跑完。
Demo中的關鍵代碼（讀取并且加載數據到數組對象中，方便后面使用）：
2. 構建模型
MNIST的每一張圖片都表示一個數字，從0到9。而模型最終期望獲得的是：給定一張圖片，獲得代表每個數字的概率。比如說，模型可能推測一張數字9的圖片代表數字9的概率是80%但是判斷它是8的概率是5%（因為8和9都有上半部分的小圓），然后給予它代表其他數字的概率更小的值。
MNIST的入門例子，采用的是softmax回歸(softmax regression)，softmax模型可以用來給不同的對象分配概率。
為了得到一張給定圖片屬于某個特定數字類的證據（evidence），我們對圖片的784個特征（點陣里的各個像素值）進行加權求和。如果某個特征（像素值）具有很強的證據說明這張圖片不屬于該類，那么相應的權重值為負數，相反如果某個特征（像素值）擁有有利的證據支持這張圖片屬于這個類，那么權重值是正數。類似前面提到的房價估算例子，對每一個像素點作出了一個權重分配。
假設我們獲得一張圖片，需要計算它是8的概率，轉化成數學公式則如下：
公式中的i代表需要預測的數字（8），代表預測數字為8的情況下，784個特征的不同權重值，代表8的偏置量（bias），X則是該圖片784個特征的值。通過上述計算，我們則可以獲得證明該圖片是8的證據（evidence）的總和，softmax函數可以把這些證據轉換成概率 y。（softmax的數學原理，辛苦各位查詢相關資料哈）
將前面的過程概括成一張圖（來自官方）則如下：
不同的特征x和對應不同數字的權重進行相乘和求和，則獲得在各個數字的分布概率，取概率最大的值，則認為是我們的圖片預測結果。
將上述過程寫成一個等式，則如下：
該等式在矩陣乘法里可以非常簡單地表示，則等價為：
不展開里面的具體數值，則可以簡化為：
如果我們對線性代數中矩陣相關內容有適當學習，其實，就會明白矩陣表達在一些問題上，更易于理解。如果對矩陣內容不太記得了，也沒有關系，后面我會附加上線性代數的視頻。
雖然前面講述了這么多，其實關鍵代碼就四行：
上述代碼都是類似變量占位符，先設置好模型計算方式，在真實訓練流程中，需要批量讀取源數據，不斷給它們填充數據，模型計算才會真實跑起來。tf.zeros則表示，先給它們統一賦值為0占位。X數據是從數據文件中讀取的，而w、b是在訓練過程中不斷變化和更新的，y則是基于前面的數據進行計算得到。
3. 損失函數和優化設置
為了訓練我們的模型，我們首先需要定義一個指標來衡量這個模型是好還是壞。這個指標稱為成本（cost）或損失（loss），然后盡量最小化這個指標。簡單的說，就是我們需要最小化loss的值，loss的值越小，則我們的模型越逼近標簽的真實結果。
Demo中使用的損失函數是“交叉熵”（cross-entropy），它的公式如下：
y 是我們預測的概率分布, y’ 是實際的分布（我們輸入的)，交叉熵是用來衡量我們的預測結果的不準確性。TensorFlow擁有一張描述各個計算單元的圖，也就是整個模型的計算流程，它可以自動地使用 反向傳播算法(backpropagation algorithm) ，來確定我們的權重等變量是如何影響我們想要最小化的那個loss值的。然后，TensorFlow會用我們設定好的優化算法來不斷修改變量以降低loss值。
其中，demo采用梯度下降算法（gradient descent algorithm）以0.01的學習速率最小化交叉熵。梯度下降算法是一個簡單的學習過程，TensorFlow只需將每個變量一點點地往使loss值不斷降低的方向更新。
對應的關鍵代碼如下：
備注內容：
交叉熵： Visual Information Theory
反向傳播： Calculus on Computational Graphs: Backpropagation
在代碼中會看見one-hot vector的概念和變量名，其實這個是個非常簡單的東西，就是設置一個10個元素的數組，其中只有一個是1，其他都是0，以此表示數字的標簽結果。
例如表示數字3的標簽值：
[0,0,0,1,0,0,0,0,0,0]
4. 訓練運算和模型準確度測試
通過前面的實現，我們已經設置好了整個模型的計算“流程圖”，它們都成為TensorFlow框架的一部分。于是，我們就可以啟動我們的訓練程序，下面的代碼的含義是，循環訓練我們的模型500次，每次批量取50個訓練樣本。
其訓練過程，其實就是TensorFlow框架的啟動訓練過程，在這個過程中，python批量地將數據交給底層庫進行處理。
我在官方的demo里追加了兩行代碼，每隔50次則額外計算一次當前模型的識別準確率。它并非必要的代碼，僅僅用于方便觀察整個模型的識別準確率逐步變化的過程。
當然，里面涉及的accuracy（預測準確率）等變量，需要在前面的地方定義占位：
當我們訓練完畢，則到了驗證我們的模型準確率的時候，和前面相同：
我的demo跑出來的結果如下（softmax回歸的例子運行速度還是比較快的），當前的準確率是0.9252：
5. 實時查看參數的數值的方法
剛開始跑官方的demo的時候，我們總想將相關變量的值打印出來看看，是怎樣一種格式和狀態。從demo的代碼中，我們可以看見很多的Tensor變量對象，而實際上這些變量對象都是無法直接輸出查看，粗略地理解，有些只是占位符，直接輸出的話，會獲得類似如下的一個對象：
Tensor("Equal:0", shape=(?,), dtype=bool)既然它是占位符，那么我們就必須喂一些數據給它，它才能將真實內容展示出來。因此，正確的方法是，在打印時通常需要加上當前的輸入數據給它。
例如，查看y的概率數據：
print(sess.run(y, feed_dict={x: batch_xs, y_: batch_ys}))部分非占位符的變量還可以這樣輸出來：
print(W.eval())總的來說，92%的識別準確率是比較令人失望，因此，官方的MNIST其實也有多種模型的不同版本，其中比較適合圖片處理的CNN(卷積神經網絡)的版本，可以獲得99%以上的準確率，當然，它的執行耗時也是比較長的。
（備注：cnn_mnist.py就是卷積神經網絡版本的，后面有附帶微云網盤的下載url）
前饋神經網絡（feed-forward neural network）版本的MNIST，可達到97%：
分享在微云上的數據和源碼：
（備注：國外網站下載都比較慢，我這份下載相對會快一些，在環境已經搭建完畢的情況下，執行里面的run.py即可）
五、和業務場景結合的demo：預測用戶是否是超級會員身份
根據前面的內容，我們對上述基于softmax只是三層（輸入、處理、輸出）的神經網絡模型已經比較熟悉，那么，這個模型是否可以應用到我們具體的業務場景中，其中的難度大嗎？為了驗證這一點，我拿了一些現網的數據來做了這個試驗。
1. 數據準備
我將一個現網的電影票活動的用戶參與數據，包括點擊過哪些按鈕、手機平臺、IP地址、參與時間等信息抓取了出來。其實這些數據當中是隱含了用戶的身份信息的，例如，某些禮包的必須是超級會員身份才能領取，如果這個按鈕用戶點擊領取成功，則可以證明該用戶的身份肯定是超級會員身份。當然，我只是將這些不知道相不相關的數據特征直觀的整理出來，作為我們的樣本數據，然后對應的標簽為超級會員身份。
用于訓練的樣本數據格式如下：
第一列是QQ號碼，只做認知標識的，第二列表示是否超級會員身份，作為訓練的標簽值，后面的就是IP地址，平臺標志位以及參與活動的參與記錄（0是未成功參與，1表示成功參與）。則獲得一個擁有11個特征的數組（經過一些轉化和映射，將特別大的數變小）：
[0.9166666666666666, 0.4392156862745098, 0.984313725490196, 0.7411764705882353, 0.2196078431372549, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0]對應的是否是超級數據格式如下，作為監督學習的標簽：
超級會員：[0, 1]
非超級會員：[1, 0]
這里需要專門解釋下，在實際應用中需要做數據轉換的原因。一方面，將這些數據做一個映射轉化，有助于簡化數據模型。另一方面，是為了規避NaN的問題，當數值過大，在一些數學指數和除法的浮點數運算中，有可能得到一個無窮大的數值，或者其他溢出的情形，在Python里會變為NaN類型，這個類型會破壞掉后續全部計算結果，導致計算異常。
例如下圖，就是特征數值過大，在訓練過程中，導致中間某些參數累計越來越大，最終導致產生NaN值，后續的計算結果全部被破壞掉：
而導致NaN的原因在復雜的數學計算里，會產生無窮大或者無窮小。例如，在我們的這個demo中，產生NaN的原因，主要是因為softmax的計算導致。
RuntimeWarning: dividebyzeroencounteredin log剛開始做實際的業務應用，就發現經常跑出極奇怪異的結果（遇到NaN問題，我發現程序也能繼續走下去），幾經排查才發現是NAN值問題，是非常令人沮喪的。當然，經過仔細分析問題，發現也并非沒有排查的方式。因為，NaN值是個奇特的類型，可以采用下述編碼方式NaN != NaN來檢測自己的訓練過程中，是否出現的NaN。
關鍵程序代碼如下：
我采用上述方法，非常順利地找到自己的深度學習程序，在學習到哪一批數據時產生的NaN。因此，很多原始數據我們都會做一個除以某個值，讓數值變小的操作。例如官方的MNIST也是這樣做的，將256的像素顏色的數值統一除以255，讓它們都變成一個小于1的浮點數。
MNIST在處理原始圖片像素特征數據時，也對特征數據進行了變小處理：
處理NaN問題更專業的方法，就是對輸入數據進行歸一化處理（min-max標準化或Z-score標準化方法），將值控制在一個可控的范圍內。NaN值問題曾一度深深地困擾著我，特別放到這里，避免入門的同學踩坑。
2. 執行結果
我準備的訓練集（6700）和測試集（1000）數據并不多，不過，超級會員身份的預測準確率最終可以達到87%。雖然，預測準確率是不高，這個可能和我的訓練集數據比較少有關系，不過，整個模型也沒有花費多少時間，從整理數據、編碼、訓練到最終跑出結果，只用了2個晚上的時間。
下圖是兩個實際的測試例子，例如，該模型預測第一個QQ用戶有82%的概率是非超級會員用戶，17.9%的概率為超級會員用戶（該預測是準確的）。
通過上面的這個例子，我們會發覺其實對于某些比較簡單的場景下應用，我們是可以比較容易就實現的。
六、其他模型
1. CIFAR-10識別圖片分類的demo（官方）
CIFAR-10數據集的分類是機器學習中一個公開的基準測試問題，它任務是對一組32x32RGB的圖像進行分類，這些圖像涵蓋了10個類別：飛機， 汽車， 鳥， 貓， 鹿， 狗， 青蛙， 馬， 船和卡車。
這也是官方的重要demo之一。
更詳細的介紹內容：
CIFAR-10 and CIFAR-100 datasets
該例子執行的過程比較長，需要耐心等待。
我在機器上的執行過程和結果：
cifar10_train.py用于訓練：
cifar10_eval.py用于檢驗結果：
識別率不高是因為該官方模型的識別率本來就不高：
另外，官方的例子我首次在1月5日跑的時候，還是有一些小問題的，無法跑起來（最新的官方可能已經修正），建議可以直接使用我放到微云上的版本（代碼里面的log和讀取文件的路徑，需要調整一下）。
源碼下載： 微云文件
微云盤里，不含訓練集和測試集的圖片數據，但是，程序如果檢測到這些圖片不存在，會自行下載：
2. 是否大于5歲的測試demo
為了檢驗softma回歸模型是否能夠學習到一些我自己設定好的規則，我做了一個小demo來測試。我通過隨機數生成的方式構造了一系列的數據，讓前面的softmax回歸模型去學習，最終看看模型能否通過訓練集的學習，最終100%預測這個樣本數據是否大于5歲。
模型和數據本身都比較簡單，構造的數據的方式：
我隨機構造一個只有2個特征緯度的樣本數據，[year, 1]，其中year隨機取值0-10，數字1是放進去作為干擾。
如果year大于5歲，則標簽設置為：[0, 0, 1]；
否則，標簽設置為：[0, 1, 0]。
生成了6000條假訓練集去訓練該模型，最終它能做到100%成功預測準確：
3. 基于RNN的古詩學習
最開頭的AI寫古詩，非常令人感到驚艷，那個demo是美國的一個研究者做出來的，能夠根據主題生成不能的古詩，而且古詩的質量還比較高。于是，我也嘗試在自己的機器上也跑一個能夠寫古詩的模型，后來我找到的是一個基于RNN的模型。RNN 循環神經網絡(Recurrent Neural Networks) ，是非常常用的深度學習模型之一。我基于一個外部的demo，進行一些調整后跑起一個能夠學習古詩和寫古詩的比較簡單的程序。
我的程序默認配置是讀取三萬首詩（做了一些過濾，將格式有誤的或者非五言、七言的過濾掉），執行寫詩（讓它寫了十首）：
畫枕江天月似霜，竹房春雪夜中春。今人已向陵邊寺，夜客閑行入畫舟。云上古來煙雪晚，月寒溪水夜無窮。何因便是鱸根侶，又是離觴酒到年。
酒渴清秋未可還，年華偏見酒壺錢。無因不自全為叟，自覺平陽似我同。
棋中春草下春城，更被霜衣獨入門。若教未開應要老，無妨歸夢不離身。青苔白首無山藥，落雪飛來夜夜長。何時未過無惆悵，滿溪紅土綠荷寒。
不辭宮樹與仙郎，曾與青春得斷魂。為向前溪猶繞藥，可因心苦雪時春。不須愛盡春來老，自有文師說了何。不必便從歸上信，也為言在此花來。
初時一點錦蓮紅，曾對仙輿在上河。萬卷有時人未見，五金終處更難過。山橫海渚人來起，天柳蕭森舊殿寒。唯見長州知己所，更從平地作風光。
去事相來別恨情，年邊未是我家貧。花聲未覺春多病，白雪無多到日寒。三畝有愁多不定，數千終去故心忙。莫將何用知兄用，猶待青林又不迷。
子有心才非病拙，一杯曾有白流愁。三朝獨到南山晚，白鶴爭生未見山。多在玉壺人愛靜，只能安穩更堪憐。只慚舊筆同才力，猶恐長心是主機。
塵末高臺入碧霄，故王門戶盡知無。黃華只擬相依鎖，三落青花亦有時。不見一家相似恨，白衣無限夢長安。
莫惜花聲酒醒杯，未央山冷一枝香。花垂未入東窗曉，雨冷山寒白鶴飛。長是玉山心寂漫，何曾便在舊樓間。時聞此夕來還坐，笑作青苔寄舊游。
夾江城暖望潾山，山水清深獨倚樓。白云半向三山客，萬頃東樓日滿林。白日夜聲多遠浪，綠花猶向夢來遲。明年不覺長相見，欲別寒泉又夜流。
另外，我抽取其中一些個人認為寫得比較好的詩句（以前跑出來的，不在上圖中）：
該模型比較簡單，寫詩的水平不如最前面我介紹的美國研究者demo，但是，所采用的基本方法應該是類似的，只是他做的更為復雜。
另外，這是一個通用模型，可以學習不同的內容（古詩、現代詩、宋詞或者英文詩等），就可以生成對應的結果。
七、深度學習的入門學習體會
1. 人工智能和深度學習技術并不神秘，更像是一個新型的工具，通過喂數據給它，然后，它能發現這些數據背后的規律，并為我們所用。
2. 數學基礎比較重要，這樣有助于理解模型背后的數學原理，不過，從純應用角度來說，并不一定需要完全掌握數學，也可以提前開始做一些嘗試和學習。
3. 我深深地感到計算資源非常缺乏，每次調整程序的參數或訓練數據后，跑完一次訓練集經常要很多個小時，部分場景不跑多一些訓練集數據，看不出差別，例如寫詩的案例。個人感覺，這個是制約AI發展的重要問題，它直接讓程序的“調試”效率非常低下。
4. 中文文檔比較少，英文文檔也不多，開源社區一直在快速更新，文檔的內容過時也比較快。因此，入門學習時遇到的問題會比較多，并且缺乏成型的文檔。
八、小結
我們不知道人工智能的時代是否真的會來臨，也不知道它將要走向何方，但是，毫無疑問，它是一種全新的技術思維模式。更好的探索和學習這種新技術，然后在業務應用場景尋求結合點，最終達到幫助我們的業務獲得更好的成果，一直以來，就是我們工程師的不懈追求。另一方面，對發展有重大推動作用的新技術，通常會快速的發展并且走向普及，就如同我們的編程一樣，因此，人人都可以做深度學習應用，并非只是一句噱頭。
參考文檔：
來自：http://blog.jobbole.com/110557/
