深度學習框架Keras簡介

1. Keras簡介

Keras是基于Theano的一個深度學習框架，它的設計參考了Torch，用Python語言編寫，是一個高度模塊化的神經網絡庫，支持GPU和CPU。使用文檔在這：http://keras.io/，這個框架貌似是剛剛火起來的，使用上的問題可以到github提issue:https://github.com/fchollet/keras

下面簡單介紹一下怎么使用Keras，以Mnist數據庫為例,編寫一個CNN網絡結構，你將會發現特別簡單。

2. Keras里的模塊介紹

• Optimizers

  顧名思義，Optimizers包含了一些優化的方法，比如最基本的隨機梯度下降SGD,另外還有Adagrad、Adadelta、RMSprop、Adam，一些新的方法以后也會被不斷添加進來。

  keras.optimizers.SGD(lr=0.01, momentum=0.9, decay=0.9, nesterov=False)
          
  
  
              
  
                  1
  
  
          
  
  

  上面的代碼是SGD的使用方法，lr表示學習速率,momentum表示動量項，decay是學習速率的衰減系數(每個epoch衰減一次),Nesterov的值是False或者True，表示使不使用Nesterov momentum。其他的請參考文檔。

• Objectives

  這是目標函數模塊，keras提供了mean_squared_error，mean_absolute_error ，squared_hinge，hinge，binary_crossentropy，categorical_crossentropy這幾種目標函數。

  這里binary_crossentropy 和 categorical_crossentropy也就是logloss

• Activations

  這是激活函數模塊，keras提供了linear、sigmoid、hard_sigmoid、tanh、softplus、relu、 softplus，另外softmax也放在Activations模塊里(我覺得放在layers模塊里更合理些）。此外，像LeakyReLU和 PReLU這種比較新的激活函數，keras在keras.layers.advanced_activations模塊里提供。

• Initializations

  這是參數初始化模塊，在添加layer的時候調用init進行初始化。keras提供了uniform、lecun_uniform、normal、orthogonal、zero、glorot_normal、he_normal這幾種。

• layers

  layers模塊包含了core、convolutional、recurrent、advanced_activations、normalization、embeddings這幾種layer。

  其中core里面包含了flatten(CNN的全連接層之前需要把二維特征圖flatten成為一維的)、reshape（CNN輸入時將一維的向量弄成二維的）、dense(就是隱藏層，dense是稠密的意思),還有其他的就不介紹了。convolutional層基本就是Theano的 Convolution2D的封裝。

• Preprocessing

  這是預處理模塊，包括序列數據的處理，文本數據的處理，圖像數據的處理。重點看一下圖像數據的處理，keras提供了 ImageDataGenerator函數,實現data augmentation，數據集擴增，對圖像做一些彈性變換，比如水平翻轉，垂直翻轉，旋轉等。

• Models

  這是最主要的模塊，模型。上面定義了各種基本組件，model是將它們組合起來，下面通過一個實例來說明。

3.一個實例：用CNN分類Mnist

• 數據下載

  Mnist數據在其官網上有提供，但是不是圖像格式的，因為我們通常都是直接處理圖像，為了以后程序能復用，我把它弄成圖像格式的，這里可以下載：http://pan.baidu.com/s/1qCdS6，共有42000張圖片。

• 讀取圖片數據

  keras要求輸入的數據格式是numpy.array類型（numpy是一個python的數值計算的庫），所以需要寫一個腳本來讀入mnist圖像，保存為一個四維的data，還有一個一維的label，代碼：

#coding:utf-8
"""
Author:wepon
Source:https://github.com/wepe
file:data.py
"""

import os
from PIL import Image
import numpy as np

#讀取文件夾mnist下的42000張圖片，圖片為灰度圖，所以為1通道，
#如果是將彩色圖作為輸入,則將1替換為3,圖像大小28*28
def load_data():
    data = np.empty((42000,1,28,28),dtype="float32")
    label = np.empty((42000,),dtype="uint8")

    imgs = os.listdir("./mnist")
    num = len(imgs)
    for i in range(num):
        img = Image.open("./mnist/"+imgs[i])
        arr = np.asarray(img,dtype="float32")
        data[i,:,:,:] = arr
        label[i] = int(imgs[i].split('.')[0])
    return data,label

• 構建CNN，訓練

  短短二十多行代碼，構建一個三個卷積層的CNN，直接讀下面的代碼吧，有注釋，很容易讀懂：

#導入各種用到的模塊組件
from __future__ import absolute_import
from __future__ import print_function
from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation, Flatten
from keras.layers.advanced_activations import PReLU
from keras.layers.convolutional import Convolution2D, MaxPooling2D
from keras.optimizers import SGD, Adadelta, Adagrad
from keras.utils import np_utils, generic_utils
from six.moves import range
from data import load_data

#加載數據
data, label = load_data()
print(data.shape[0], ' samples')

#label為0~9共10個類別，keras要求格式為binary class matrices,轉化一下，直接調用keras提供的這個函數
label = np_utils.to_categorical(label, 10)

###############
#開始建立CNN模型
###############

#生成一個model
model = Sequential()

#第一個卷積層，4個卷積核，每個卷積核大小5*5。1表示輸入的圖片的通道,灰度圖為1通道。
#border_mode可以是valid或者full，具體看這里說明：http://deeplearning.net/software/theano/library/tensor/nnet/conv.html#theano.tensor.nnet.conv.conv2d
#激活函數用tanh
#你還可以在model.add(Activation('tanh'))后加上dropout的技巧: model.add(Dropout(0.5))
model.add(Convolution2D(4, 1, 5, 5, border_mode='valid')) 
model.add(Activation('tanh'))

#第二個卷積層，8個卷積核，每個卷積核大小3*3。4表示輸入的特征圖個數，等于上一層的卷積核個數
#激活函數用tanh
#采用maxpooling，poolsize為(2,2)
model.add(Convolution2D(8,4, 3, 3, border_mode='valid'))
model.add(Activation('tanh'))
model.add(MaxPooling2D(poolsize=(2, 2)))

#第三個卷積層，16個卷積核，每個卷積核大小3*3
#激活函數用tanh
#采用maxpooling，poolsize為(2,2)
model.add(Convolution2D(16, 8, 3, 3, border_mode='valid')) 
model.add(Activation('tanh'))
model.add(MaxPooling2D(poolsize=(2, 2)))

#全連接層，先將前一層輸出的二維特征圖flatten為一維的。
#Dense就是隱藏層。16就是上一層輸出的特征圖個數。4是根據每個卷積層計算出來的：(28-5+1)得到24,(24-3+1)/2得到11，(11-3+1)/2得到4
#全連接有128個神經元節點,初始化方式為normal
model.add(Flatten())
model.add(Dense(16*4*4, 128, init='normal'))
model.add(Activation('tanh'))

#Softmax分類，輸出是10類別
model.add(Dense(128, 10, init='normal'))
model.add(Activation('softmax'))

#############
#開始訓練模型
##############
#使用SGD + momentum
#model.compile里的參數loss就是損失函數(目標函數)
sgd = SGD(l2=0.0,lr=0.05, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy', optimizer=sgd,class_mode="categorical")

#調用fit方法，就是一個訓練過程. 訓練的epoch數設為10，batch_size為100．
#數據經過隨機打亂shuffle=True。verbose=1，訓練過程中輸出的信息，0、1、2三種方式都可以，無關緊要。show_accuracy=True，訓練時每一個epoch都輸出accuracy。
#validation_split=0.2，將20%的數據作為驗證集。
model.fit(data, label, batch_size=100,nb_epoch=10,shuffle=True,verbose=1,show_accuracy=True,validation_split=0.2)

#fit方法在達到設定的nb_epoch時結束，并且自動地保存了效果最好的model,之后你可以調用model.evaluate()方法對測試數據進行測試，
#還有model.predict_classes,model.predict_proba等方法,具體請看文檔。

• 代碼使用與結果

代碼放在我github的機器學習倉庫里：https://github.com/wepe/MachineLearning,非github用戶直接點右下的DownloadZip。

在/DeepLearning Tutorials/keras_usage目錄下包括data.py,cnn.py兩份代碼，下載Mnist數據后解壓到該目錄下，運行cnn.py這份文件即可。

結果如下所示，在Epoch 9達到了0.98的訓練集識別率和0.97的驗證集識別率：

轉載請注明出處：http://blog.csdn.net/u012162613/article/details/45397033