【機器學習】邏輯回歸原理及其實現

引言：邏輯回歸是最簡單的機器學習模型，常常應用于各種簡單的任務中。這里記錄邏輯回歸的背景以及學習方法，權當自己的學習記錄總結。

邏輯回歸：首先，它不是一個回歸模型，而是一個分類模型，它是被用來做分類的。 之所以稱之為回歸，是因為它的學習的是模型模型的參數以最佳擬合已有的數據。（比如，根據已有的一些點，回歸出它的直線參數的擬合過程，就稱之為回歸。）

學習方法：梯度上升法，隨機梯度上升法。

模型特點:
1. 優點：訓練快、易理解、易實現
2. 缺點：模型不夠強大、擬合能力有限，欠擬合，對于復雜的任務效果不夠好

在二分類的模型中，我們能最希望的函數是一個二值化函數，也就是
h(x) = 0 當 x > 閾值，h(x)=1 當 x < 閾值
函數下圖所示：

然而，雖然這個函數是我們很想學習到的函數，但是由于它在閾值點處的跳躍性（不連續性），使得它變得不好處理（比如在該點處沒有導數（梯度）的問題）。
幸好，自然是美好的，我們可以用其它的函數來近似這個函數，Sigmoid 函數就是一個很好的近似方法
其函數圖形如下所示（值閾（0–>1）)

函數表達式為:

相比于原始的二值化函數，sigmoid函數具有處處連續、可導的優點。

為了實現邏輯回歸分類器，我們將每個特征都乘以一個回歸系數wi，然后將結果相加得到一個值，并將這個值帶入到sigmoid函數中，就會得到一個0–>1之間的數值，而大于0.5的值被分為1類，小于0.5的被分為0類。所以，邏輯回歸也被稱之為一個概率估計模型。

在已經確定了分類器模型的函數形式之后，問題就在于如何學習以獲得最佳的回歸系數？

主要是采用梯度上升及其變形的方法。
它的思想是：要找到某個函數的最大值，最好的方法就是沿著該函數的梯度方向進行尋找。（要有梯度就要求待計算的點有定義并且可導，所以二值化函數不能使用。）
權重更新：

其中alpha為步長，學習（訓練）的停止條件一般為：迭代到達一定的次數，或者算法已經到達了一定的誤差范圍之內。

注意區別于梯度下降法：跟梯度上升法是相同的道理，加法變為減法。

隨機梯度上升法：因為梯度上升法在每次更新回歸系數的時候都需要遍歷整個數據集合，當數據很多的時候，就不適用了，改進的方法為：一次只使用一個樣本來更新回歸系數，這種方法稱之為隨機梯度上升法。

只是它用來尋找最小值（一般是loss最小），而梯度上升法用來尋找最大值。

所以總的來說，邏輯回歸的計算方法很簡單，就分為兩步：1，計算梯度，2，更新權值。

具體的權重更新方法為：

具體的代碼如下（python）：

def sigmoid(x):
    ''' 邏輯回歸的判別函數 '''
    return 1.0/(1.0+exp(-x))

def gradientAscent(datas,labels):
    ''' 輸入參數datas：訓練數據矩陣，每一行為一個數據 輸入參數labels：標簽數據，為一個值。 要求參數數據匹配 '''
    dataX = mat(datas)

#每列代表一個特征，每行代表不同的訓練樣本。
dataY = mat(labels).transpose()
#標簽，將行向量轉置為列向量
m,n = shape(dataX)
alpha = 0.001
#步長，也就是學習率
itera_num = 1000
#迭代次數
W = ones((n,1))
for i in range(itera_num):
    H = sigmoid(dataX * W)
    # H 是一個列向量，元素個數==m
    error = dataY - H
    W = W + alpha * X.transpose()*error
return W


def stochasticGradientAscent(datas,labels):
    dataX = mat(datas)

#每列代表一個特征，每行代表不同的訓練樣本。
dataY = mat(labels).transpose()
#標簽，將行向量轉置為列向量
m,n = shape(datas)
alpha = 0.01
W = ones(n)
for i in range(m):
    h = sigmoid(sum(dataX[i]*W))
    error = dataY[i] - h
    W = W + alpha * error *dataX[i]
return W</pre> 

總結： 邏輯回歸的目的是為了尋找非線性函數Sigmoid的最佳擬合參數中的權值w，其w的值通過梯度上升法來學習到。隨機梯度上升一次只處理少量的樣本，節約了計算資源同時也使得算法可以在線學習。
參考文獻： 

 1， 《統計學習方法》 李航 

 2， 《機器學習實戰》Peter Harrington
</div>