支持向量機(SVM)（三）-- 最優間隔分類器（optimal margin classifier）

在之前為了尋找最有分類器，我們提出了如下優化問題：

在這里我們可以把約束條件改寫成如下：

首先我們看下面的圖示：

很顯然我們可以看出實線是最大間隔超平面，假設×號的是正例，圓圈的是負例。在虛線上的點和在實線上面的兩個一共這三個點稱作支持向量。現在我們結合KKT條件分析下這個圖。

我們從式子和式子可以看出如果那么，

這個也就說明時，w處于可行域的邊界上，這時才是起作用的約束。

1、那我們現在可以構造拉格朗日函數如下：

注意到這里只有沒有是因為原問題中沒有等式約束，只有不等式約束。

2、接下來我們對w和b分別求偏導數。

    并得到

3、將上式帶回到拉格朗日函數中得到：

由于，因此簡化為

4、現在我們得到了關于w和b的可以最小化的等式，我們在聯合這個參數，當然他的條件還是>=0，現在我們可以得到如下的二元優化等式了：

5、現在你還必須知道我們之前講解的條件一是，二是KKT條件：

很顯然存在w使得對于所有的i，。因此，一定存在使得是原問題的解，是對偶問題的解。

    如果求出了（也就是），根據

即可求出w（也是，原問題的解）。然后

    即可求出b。即離超平面最近的正的函數間隔要等于離超平面最近的負的函數間隔。

6、現在我們在看另外一個問題：

由于

所以

這里我們將向量內積表示為

現在可以看出我要計算等式的話就只需要計算向量的內積就好了，同時要是 在支持向量上面的話，那么，這樣就更簡單了，因此很多的值都是0。

來自： http://blog.csdn.net//u011067360/article/details/25322637