對3層神經網絡結構推導，求出它的參數，以及每層需要計算的參數和數量。

說明：本次總結的圖片來自周志華老師的課件。

單個節點的神經元

圖中給出了輸入到某一個隱藏層單一節點的過程

一個完整的神經網絡結構如下：

整體結構： 輸入層節點d$d$個，隱藏層節點q$q$個，輸出層節點l$l$個

各層的權重定義如下： 輸入層到隱藏層： V$V$ vih$v_{ih}$ 表示 第i$i$個輸入層節點 ——> 第h$h$個隱藏層節點 隱藏層到輸出層：W$W$ whj$w_{hj}$ 表示第h$h$個隱藏層節點 ——> 第j$j$個輸出層節點

各層的值 第h$h$個隱藏層的輸入定義如下： αh=∑i=1dvihxi $$/alpha_{h} = /sum_{i=1}^iwvjtn8m0 v_{ih} x_{i}$$

第j$j$個輸出層神經元的輸入定義如下： βj=∑h=iqwhjbh $$/beta_{j} = /sum_{h=i}^{q} w_{hj} b_{h}$$

對于給定的數據集(x1,y1),(x2,y2),...,(xn,yn)${(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{n},y_{n})}$

全局的均方誤差為：

對于第k$k$個樣本在輸出層的第j$j$個節點上的輸出結果為：

y^kj $$/hat{y}^{k}_{j}$$

那么，對于一個樣本來說，整體的均方誤差為： Ek=12∑j=1l(y^kj?ykj)2 $$E_{k} = /frac{1}{2} /sum_{j=1}^{l} (/hat{y}^{k}_{j} - y^{k}_{j})^{2}$$

參數的更新

基于梯度下降法來進行更新： 激活函數為 f $$f$$ 這里f$f$為給定的表示符號，可代指所有符合條件的激活函數。不過，本博文設置的激活函數為sigmoid，即f(x)=11+e?x$f(x) = /frac{1}{1+e^{-x}}$

學習率為 η $$/eta$$

對權重w$w$和v$v$的更新，遵循先w$w$后v$v$，原因是先更新靠近輸出的權重，w$w$是屬于靠近輸出層的權重。

w<=w+Δw $$w <= w + /Delta w$$ v<=v+Δv $$v <= v + /Delta v$$

對w$w$的更新

這里，Δw=?η?Ek?whj$/Delta w = -/eta /frac{/partial E_{k}}{ /partial w_{hj}}$

由于whj$w_{hj}$先影響第j$j$個輸出層神經元的輸入值βj$/beta_{j}$，再影響到它的輸出值y^kj$/hat{y}^{k}_{j}$，最后是Ek$E_{k}$

由鏈式法則，

?Ek?whj=?Ek?y^kj??y^kj?βj??βj?whj $$/frac{/partial E_{k}}{/partial w_{hj}} = /frac{ /partial E_{k}}{ /partial /hat{y}^{k}_{j}} * /frac{/partial /hat{y}^{k}_{j}}{/partial /beta_{j}} * /frac{/partial /beta_{j}}{/partial w_{hj}}$$

又：

?βj?whj=bh $$/frac {/partial /beta_{j}}{ /partial w_{hj}} = b_{h}$$

設 gj=??Ek?y^kj?y^kj?βj $$g_{j} = - /frac{/partial E_{k}}{/partial /hat{y}^{k}_{j}} * /frac{/hat{y}^{k}_{j}}{/partial /beta_{j}}$$

于是， gj=?(y^kj?ykj)f′(βj?θj)=y^kj(1?ykj)(ykj?y^kj) $$g_{j} = - (/hat{y}^{k}_{j} - y^{k}_{j}) f^{'}(/beta_{j} - /theta_{j}) = /hat{y}^{k}_{j} (1-y^{k}_{j}) (y^{k}_{j} - /hat{y}^{k}_{j})$$

進一步，

?Ek?hj=gj?bh $$/frac{/partial E_{k}}{/partial h_{j}} = g_{j} * b_{h}$$

從而，

Δwhj=η?gj?bh $$/Delta w_{hj} = /eta * g_{j} * b_{h}$$

更新： whj=whj+η?gj?bh $$w_{hj} = w_{hj}+ /eta * g_{j} * b_{h}$$

對隱藏層閾值θ$/theta$的更新

對θ$/theta$更新的規則： θ<=θ+Δθ $$/theta < = /theta + /Delta /theta$$

這里，

Δθj=?η?Ek?θj $$/Delta /theta_{j} = -/eta /frac{/partial E_{k}}{/partial /theta_{j}}$$

對于，

?Ek?θj=?Ek?y^kj?y^kj?θj $$/frac{/partial E_{k}}{/partial /theta_{j}} = /frac{/partial E_{k}}{/partial /hat{y}^{k}_{j}} /frac{/partial /hat{y}^{k}_{j}}{/partial /theta_{j}}$$

進一步，

?Ek?θj=12?2?(y^kj?ykj)?y^kj?(?1)?(1?y^kj)=?y^kj?(1?y^kj)?(y^kj?ykj) $$/frac{/partial E_{k}}{/partial /theta_{j}} = /frac{1}{2} *2 *(/hat{y}^{k}_{j} - y^{k}_{j}) * /hat{y}^{k}_{j} *(-1)* (1-/hat{y} ^{k}_{j}) = - /hat{y}^{k}_{j} * (1 - /hat{y}^{k}_{j}) * (/hat{y}^{k}_{j} - y^{k}_{j})$$

從而，

θj+1=θj+η?y^kj?(1?y^kj)?(y^kj?ykj) $$/theta_{j+1} = /theta_{j} + /eta * /hat{y}^{k}_{j} * (1 - /hat{y}^{k}_{j}) * (/hat{y}^{k}_{j} - y^{k}_{j})$$

對輸入層權重v$v$的更新

更新規則： v<=v+(?η?Ek?v)=v+Δv $$v <= v + (-/eta /frac{/partial E_{k}}{/partial v}) = v + /Delta v$$

對于，

Δvih=?η?Ek?vih $$/Delta v_{ih} = -/eta /frac{/partial E_{k}}{/partial v_{ih}}$$

進一步，

?Ek?vih=∑j=1l?Ek?y^kj?y^kj?bh?bh?vih $$/frac{/partial E_{k}}{/partial v_{ih}} = /sum^{l}_{j=1} /frac{/partial E_{k}}{/partial /hat{y}^{k}_{j}} /frac{/partial /hat{y}^{k}_{j}}{/partial {b_{h}}} /frac{/partial b_{h}}{/partial v_{ih}}$$

由， ?y^kj?bh=y^kj?βj?βj?bh=y^kj(1?y^kj)whj $$/frac{/partial /hat{y}^{k}_{j}}{/partial b_{h}} = /frac{/hat{y}^{k}_{j}}{/partial /beta_{j}} /frac{/partial /beta_{j}}{/partial b_{h}} = /hat{y}^{k}_{j} (1-/hat{y}^{k}_{j}) w_{hj}$$

于是，

?Ek?vih=bh(1?bh)∑j=1lwhjy^kj(1?y^kj)(ykj?y^kj) $$/frac{/partial E_{k}}{/partial v_{ih}} = b_{h}(1 - b_{h}) /sum_{j=1}^{l} w_{hj} /hat{y}^{k}_{j}(1-/hat{y}^{k}_{j})(y^{k}_{j} - /hat{y}^{k}_{j})$$

v$v$的更新為：

vj+1=vj+bh(1?bh)∑j=1lwhjy^kj(1?y^kj)(ykj?y^kj) $$v_{j+1} = v_{j} + b_{h}(1 - b_{h}) /sum_{j=1}^{l} w_{hj} /hat{y}^{k}_{j}(1-/hat{y}^{k}_{j})(y^{k}_{j} - /hat{y}^{k}_{j})$$

參數有：

權重： vih$v_{ih}$ d*q 個 whj$w_{hj}$ q*l個 隱藏層閾值 q個 輸出層閾值 l個

合計: (d+l+1)*q + l