神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)中有很大的應(yīng)用，甚至涉及到方方面面。本文主要是簡(jiǎn)單介紹一下神經(jīng)網(wǎng)絡(luò)的基本理論概念和推算。同時(shí)也會(huì)介紹一下神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)分類(lèi)方面的應(yīng)用。
首先，當(dāng)我們建立一個(gè)回歸和分類(lèi)模型的時(shí)候，無(wú)論是用最小二乘法（OLS）還是最大似然值（MLE）都用來(lái)使得殘差達(dá)到最小。因此我們?cè)诮⒛Ｐ偷臅r(shí)候，都會(huì)有一個(gè)loss function。
而在神經(jīng)網(wǎng)絡(luò)里也不例外，也有個(gè)類(lèi)似的loss function。
對(duì)回歸而言：
對(duì)分類(lèi)而言：
然后同樣方法，對(duì)于W開(kāi)始求導(dǎo)，求導(dǎo)為零就可以求出極值來(lái)。
關(guān)于式子中的W。我們?cè)谶@里以三層的神經(jīng)網(wǎng)絡(luò)為例。先介紹一下神經(jīng)網(wǎng)絡(luò)的相關(guān)參數(shù)。
第一層是輸入層，第二層是隱藏層，第三層是輸出層。
在X1，X2經(jīng)過(guò)W1的加權(quán)后，達(dá)到隱藏層，然后經(jīng)過(guò)W2的加權(quán)，到達(dá)輸出層
其中，
我們有：
至此，我們建立了一個(gè)初級(jí)的三層神經(jīng)網(wǎng)絡(luò)。
當(dāng)我們要求其的loss function最小時(shí)，我們需要逆向來(lái)求，也就是所謂的backpropagation。
我們要分別對(duì)W1和W2進(jìn)行求導(dǎo)，然后求出其極值。
從右手邊開(kāi)始逆推，首先對(duì)W2進(jìn)行求導(dǎo)。
代入損失函數(shù)公式：
然后，我們進(jìn)行化簡(jiǎn)：
化簡(jiǎn)到這里，我們同理再對(duì)W1進(jìn)行求導(dǎo)。
我們可以發(fā)現(xiàn)當(dāng)我們?cè)谧鯾p網(wǎng)絡(luò)時(shí)候，有一個(gè)逆推回去的誤差項(xiàng)，其決定了loss function 的最終大小。
在實(shí)際的運(yùn)算當(dāng)中，我們會(huì)用到梯度求解，來(lái)求出極值點(diǎn)。
總結(jié)一下來(lái)說(shuō)，我們使用向前推進(jìn)來(lái)理順神經(jīng)網(wǎng)絡(luò)做到回歸分類(lèi)等模型。而向后推進(jìn)來(lái)計(jì)算他的損失函數(shù)，使得參數(shù)W有一個(gè)最優(yōu)解。
當(dāng)然，和線性回歸等模型相類(lèi)似的是，我們也可以加上正則化的項(xiàng)來(lái)對(duì)W參數(shù)進(jìn)行約束，以免使得模型的偏差太小，而導(dǎo)致在測(cè)試集的表現(xiàn)不佳。
Python 的實(shí)現(xiàn)：
使用了KERAS的庫(kù)
解決線性回歸：
model.add(Dense(1, input_dim=n_features, activation='linear', use_bias=True))# Use mean squared error for the loss metric and use the ADAM backprop algorithmmodel.compile(loss='mean_squared_error', optimizer='adam')# Train the network (learn the weights)# We need to convert from DataFrame to NumpyArrayhistory = model.fit(X_train.values, y_train.values, epochs=100, batch_size=1, verbose=2, validation_split=0)
解決多重分類(lèi)問(wèn)題：
# create modelmodel = Sequential()model.add(Dense(64, activation='relu', input_dim=n_features))model.add(Dropout(0.5))model.add(Dense(64, activation='relu'))model.add(Dropout(0.5))# Softmax output layermodel.add(Dense(7, activation='softmax'))model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])model.fit(X_train.values, y_train.values, epochs=20, batch_size=16)y_pred = model.predict(X_test.values)y_te = np.argmax(y_test.values, axis = 1)y_pr = np.argmax(y_pred, axis = 1)print(np.unique(y_pr))print(classification_report(y_te, y_pr))print(confusion_matrix(y_te, y_pr))
當(dāng)我們選取最優(yōu)參數(shù)時(shí)候，有很多種解決的途徑。這里就介紹一種是gridsearchcv的方法，這是一種暴力檢索的方法，遍歷所有的設(shè)定參數(shù)來(lái)求得最優(yōu)參數(shù)。
from sklearn.model_selection import GridSearchCVdef create_model(optimizer='rmsprop'): model = Sequential() model.add(Dense(64, activation='relu', input_dim=n_features)) model.add(Dropout(0.5)) model.add(Dense(64, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(7, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics=['accuracy']) return modelmodel = KerasClassifier(build_fn=create_model, verbose=0)optimizers = ['rmsprop']epochs = [5, 10, 15]batches = [128]param_grid = dict(optimizer=optimizers, epochs=epochs, batch_size=batches, verbose=['2'])grid = GridSearchCV(estimator=model, param_grid=param_grid)grid.fit(X_train.values, y_train.values)
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持VEVB武林網(wǎng)。
新聞熱點(diǎn)
疑難解答
圖片精選
