神經網絡在機器學習中有很大的應用，甚至涉及到方方面面。本文主要是簡單介紹一下神經網絡的基本理論概念和推算。同時也會介紹一下神經網絡在數據分類方面的應用。

首先，當我們建立一個回歸和分類模型的時候，無論是用最小二乘法（OLS）還是最大似然值（MLE）都用來使得殘差達到最小。因此我們在建立模型的時候，都會有一個loss function。

而在神經網絡里也不例外，也有個類似的loss function。

對回歸而言：

對分類而言：

然后同樣方法，對于W開始求導，求導為零就可以求出極值來。

關于式子中的W。我們在這里以三層的神經網絡為例。先介紹一下神經網絡的相關參數。

第一層是輸入層，第二層是隱藏層，第三層是輸出層。

在X1，X2經過W1的加權后，達到隱藏層，然后經過W2的加權，到達輸出層

其中，

我們有：

至此，我們建立了一個初級的三層神經網絡。

當我們要求其的loss function最小時，我們需要逆向來求，也就是所謂的backpropagation。

我們要分別對W1和W2進行求導，然后求出其極值。

從右手邊開始逆推，首先對W2進行求導。

代入損失函數公式：

然后，我們進行化簡：

化簡到這里，我們同理再對W1進行求導。

我們可以發現當我們在做bp網絡時候，有一個逆推回去的誤差項，其決定了loss function 的最終大小。

在實際的運算當中，我們會用到梯度求解，來求出極值點。

總結一下來說，我們使用向前推進來理順神經網絡做到回歸分類等模型。而向后推進來計算他的損失函數，使得參數W有一個最優解。

當然，和線性回歸等模型相類似的是，我們也可以加上正則化的項來對W參數進行約束，以免使得模型的偏差太小，而導致在測試集的表現不佳。