做機器學習的一定對支持向量機（support vector machine-SVM）頗為熟悉，因為在深度學習出現(xiàn)之前，SVM一直霸占著機器學習老大哥的位子。他的理論很優(yōu)美，各種變種改進版本也很多，比如latent-SVM, structural-SVM等。這節(jié)先來看看SVM的理論吧，在（圖一）中A圖表示有兩類的數(shù)據(jù)集，圖B,C,D都提供了一個線性分類器來對數(shù)據(jù)進行分類？但是哪個效果好一些？

（圖一）

        可能對這個數(shù)據(jù)集來說，三個的分類器都一樣足夠好了吧，但是其實不然，這個只是訓練集，現(xiàn)實測試的樣本分布可能會比較散一些，各種可能都有，為了應對這種情況，我們要做的就是盡可能的使得線性分類器離兩個數(shù)據(jù)集都盡可能的遠，因為這樣就會減少現(xiàn)實測試樣本越過分類器的風險，提高檢測精度。這種使得數(shù)據(jù)集到分類器之間的間距（margin）最大化的思想就是支持向量機的核心思想，而離分類器距離最近的樣本成為支持向量。既然知道了我們的目標就是為了尋找最大邊距，怎么尋找支持向量？如何實現(xiàn)？下面以（圖二）來說明如何完成這些工作。

（圖二）

假設（圖二）中的直線表示一個超面，為了方面觀看顯示成一維直線，特征都是超面維度加一維度的，圖中也可以看出，特征是二維，而分類器是一維的。如果特征是三維的，分類器就是一個平面。假設超面的解析式為，那么點A到超面的距離為,下面給出這個距離證明：

（圖三）

在（圖三）中，青色菱形表示超面，Xn為數(shù)據(jù)集中一點，W是超面權重，而且W是垂直于超面的。證明垂直很簡單，假設X'和X''都是超面上的一點，

因此W垂直于超面。知道了W垂直于超面，那么Xn到超面的距離其實就是Xn和超面上任意一點x的連線在W上的投影，如（圖四）所示：

套進拉格朗日乘子法公式得到如（公式五）所示的樣子：

（公式五）

        在（公式五）中通過拉格朗日乘子法函數(shù)分別對W和b求導，為了得到極值點，令導數(shù)為0，得到

 ,然后把他們代入拉格朗日乘子法公式里得到（公式六）的形式：

（公式六）

     （公式六）后兩行是目前我們要求解的優(yōu)化函數(shù)，現(xiàn)在只需要做個二次規(guī)劃即可求出alpha,二次規(guī)劃優(yōu)化求解如（公式七）所示：

（公式七）

         通過（公式七）求出alpha后，就可以用（公式六）中的第一行求出W。到此為止，SVM的公式推導基本完成了，可以看出數(shù)學理論很嚴密，很優(yōu)美，盡管有些同行們認為看起枯燥，但是最好沉下心來從頭看完，也不難，難的是優(yōu)化。二次規(guī)劃求解計算量很大，在實際應用中常用SMO（Sequential minimal optimization）算法，SMO算法打算放在下節(jié)結合代碼來說。

參考文獻：

     [1]machine learning in action. Peter Harrington

     [2] Learning From Data. Yaser S.Abu-Mostafa

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持VEVB武林網(wǎng)。