說(shuō)明：

1、本文以截圖形式轉(zhuǎn)載自http://blog.csdn.net/zhongkejingwang/article/details/44514073 

2、轉(zhuǎn)載供個(gè)人學(xué)習(xí)研究，對(duì)部分內(nèi)容做出個(gè)人筆記。

一、BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò).它的學(xué)習(xí)規(guī)則是使用梯度下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hiddenlayer)和輸出層(output layer)。BP（Back PRopagation）算法（反向傳播算法）的學(xué)習(xí)過(guò)程，由信息的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。

二、數(shù)學(xué)原理

接下來(lái)就是最小化L。通常使用梯度下降法也就是對(duì)每個(gè)訓(xùn)練樣本都使權(quán)重往其負(fù)梯度方向變化。

完整代碼見(jiàn)github: https://github.com/jingchenUSTC/ANN

個(gè)人筆記：原博主的幾個(gè)示意圖真心贊，清晰明了，易于理解。

1、數(shù)學(xué)推導(dǎo)過(guò)程，該博主的推導(dǎo)沒(méi)有按照概念里的信息的正向傳播和誤差的反向傳播這兩個(gè)方向來(lái)敘述。看起來(lái)不是那么順。

另一篇博主的介紹從兩個(gè)方向來(lái)推導(dǎo)：http://blog.csdn.net/acdreamers/article/details/44657439

2、

上面這個(gè)公式不是很明白，道理是這么個(gè)道理，但是公式為什么是這種形式。

3、

下標(biāo)從0開(kāi)始的原因，個(gè)人認(rèn)為：從隱層到輸出層，輸出層的每個(gè)節(jié)點(diǎn)的值除了跟前一層的權(quán)值有關(guān)外，各個(gè)節(jié)點(diǎn)還有閾值，將閾值與權(quán)值公式整合后，得到上面的公式。