梯度下降（Gradient Descent）算法是機(jī)器學(xué)習(xí)中使用非常廣泛的優(yōu)化算法。當(dāng)前流行的機(jī)器學(xué)習(xí)庫(kù)或者深度學(xué)習(xí)庫(kù)都會(huì)包括梯度下降算法的不同變種實(shí)現(xiàn)。
本文主要以線性回歸算法損失函數(shù)求極小值來(lái)說(shuō)明如何使用梯度下降算法并給出python實(shí)現(xiàn)。若有不正確的地方，希望讀者能指出。
梯度下降
梯度下降原理：將函數(shù)比作一座山，我們站在某個(gè)山坡上，往四周看，從哪個(gè)方向向下走一小步，能夠下降的最快。
在線性回歸算法中，損失函數(shù)為
在求極小值時(shí)，在數(shù)據(jù)量很小的時(shí)候，可以使用矩陣求逆的方式求最優(yōu)的θ值。但當(dāng)數(shù)據(jù)量和特征值非常大，例如幾萬(wàn)甚至上億時(shí)，使用矩陣求逆根本就不現(xiàn)實(shí)。而梯度下降法就是很好的一個(gè)選擇了。
使用梯度下降算法的步驟：
1）對(duì)θ賦初始值，這個(gè)值可以是隨機(jī)的，也可以讓θ是一個(gè)全零的向量。
2）改變θ的值，使得目標(biāo)損失函數(shù)J(θ)按梯度下降的方向進(jìn)行減少。
其中為學(xué)習(xí)率或步長(zhǎng)，需要人為指定，若過(guò)大會(huì)導(dǎo)致震蕩即不收斂，若過(guò)小收斂速度會(huì)很慢。
3）當(dāng)下降的高度小于某個(gè)定義的值，則停止下降。
另外，對(duì)上面線性回歸算法損失函數(shù)求梯度，結(jié)果如下：
在實(shí)際應(yīng)用的過(guò)程中，梯度下降算法有三類，它們不同之處在于每次學(xué)習(xí)(更新模型參數(shù))使用的樣本個(gè)數(shù)，每次更新使用不同的樣本會(huì)導(dǎo)致每次學(xué)習(xí)的準(zhǔn)確性和學(xué)習(xí)時(shí)間不同。下面將分別介紹原理及python實(shí)現(xiàn)。
批量梯度下降(Batch gradient descent)
每次使用全量的訓(xùn)練集樣本來(lái)更新模型參數(shù)，即給定一個(gè)步長(zhǎng)，然后對(duì)所有的樣本的梯度的和進(jìn)行迭代：
梯度下降算法最終得到的是局部極小值。而線性回歸的損失函數(shù)為凸函數(shù)，有且只有一個(gè)局部最小，則這個(gè)局部最小一定是全局最小。所以線性回歸中使用批量梯度下降算法，一定可以找到一個(gè)全局最優(yōu)解。
優(yōu)點(diǎn)：全局最優(yōu)解；易于并行實(shí)現(xiàn)；總體迭代次數(shù)不多
缺點(diǎn)：當(dāng)樣本數(shù)目很多時(shí)，訓(xùn)練過(guò)程會(huì)很慢，每次迭代需要耗費(fèi)大量的時(shí)間。
隨機(jī)梯度下降(Stochastic gradient descent)
隨機(jī)梯度下降算法每次從訓(xùn)練集中隨機(jī)選擇一個(gè)樣本來(lái)進(jìn)行迭代，即：
隨機(jī)梯度下降算法每次只隨機(jī)選擇一個(gè)樣本來(lái)更新模型參數(shù)，因此每次的學(xué)習(xí)是非?？焖俚模⑶铱梢赃M(jìn)行在線更新。
隨機(jī)梯度下降最大的缺點(diǎn)在于每次更新可能并不會(huì)按照正確的方向進(jìn)行，因此可以帶來(lái)優(yōu)化波動(dòng)(擾動(dòng))。不過(guò)從另一個(gè)方面來(lái)看，隨機(jī)梯度下降所帶來(lái)的波動(dòng)有個(gè)好處就是，對(duì)于類似盆地區(qū)域（即很多局部極小值點(diǎn)）那么這個(gè)波動(dòng)的特點(diǎn)可能會(huì)使得優(yōu)化的方向從當(dāng)前的局部極小值點(diǎn)跳到另一個(gè)更好的局部極小值點(diǎn)，這樣便可能對(duì)于非凸函數(shù)，最終收斂于一個(gè)較好的局部極值點(diǎn)，甚至全局極值點(diǎn)。
優(yōu)點(diǎn)：訓(xùn)練速度快，每次迭代計(jì)算量不大
缺點(diǎn)：準(zhǔn)確度下降，并不是全局最優(yōu)；不易于并行實(shí)現(xiàn)；總體迭代次數(shù)比較多。
Mini-batch梯度下降算法
Mini-batch梯度下降綜合了batch梯度下降與stochastic梯度下降，在每次更新速度與更新次數(shù)中間取得一個(gè)平衡，其每次更新從訓(xùn)練集中隨機(jī)選擇b,b<m個(gè)樣本進(jìn)行學(xué)習(xí)，即：
python代碼實(shí)現(xiàn)
批量梯度下降算法
#!/usr/bin/python#coding=utf-8import numpy as npfrom scipy import statsimport matplotlib.pyplot as plt # 構(gòu)造訓(xùn)練數(shù)據(jù)x = np.arange(0., 10., 0.2)m = len(x) # 訓(xùn)練數(shù)據(jù)點(diǎn)數(shù)目print mx0 = np.full(m, 1.0)input_data = np.vstack([x0, x]).T # 將偏置b作為權(quán)向量的第一個(gè)分量target_data = 2 * x + 5 + np.random.randn(m) # 兩種終止條件loop_max = 10000 # 最大迭代次數(shù)(防止死循環(huán))epsilon = 1e-3 # 初始化權(quán)值np.random.seed(0)theta = np.random.randn(2) alpha = 0.001 # 步長(zhǎng)(注意取值過(guò)大會(huì)導(dǎo)致振蕩即不收斂,過(guò)小收斂速度變慢)diff = 0.error = np.zeros(2)count = 0 # 循環(huán)次數(shù)finish = 0 # 終止標(biāo)志 while count < loop_max: count += 1 # 標(biāo)準(zhǔn)梯度下降是在權(quán)值更新前對(duì)所有樣例匯總誤差，而隨機(jī)梯度下降的權(quán)值是通過(guò)考查某個(gè)訓(xùn)練樣例來(lái)更新的 # 在標(biāo)準(zhǔn)梯度下降中，權(quán)值更新的每一步對(duì)多個(gè)樣例求和，需要更多的計(jì)算 sum_m = np.zeros(2) for i in range(m): dif = (np.dot(theta, input_data[i]) - target_data[i]) * input_data[i] sum_m = sum_m + dif # 當(dāng)alpha取值過(guò)大時(shí),sum_m會(huì)在迭代過(guò)程中會(huì)溢出 theta = theta - alpha * sum_m # 注意步長(zhǎng)alpha的取值,過(guò)大會(huì)導(dǎo)致振蕩 # theta = theta - 0.005 * sum_m # alpha取0.005時(shí)產(chǎn)生振蕩,需要將alpha調(diào)小 # 判斷是否已收斂 if np.linalg.norm(theta - error) < epsilon: finish = 1 break else: error = theta print 'loop count = %d' % count, '/tw:',thetaprint 'loop count = %d' % count, '/tw:',theta # check with scipy linear regressionslope, intercept, r_value, p_value, slope_std_error = stats.linregress(x, target_data)print 'intercept = %s slope = %s' % (intercept, slope) plt.plot(x, target_data, 'g*')plt.plot(x, theta[1] * x + theta[0], 'r')plt.show()
運(yùn)行結(jié)果截圖：
隨機(jī)梯度下降算法
#!/usr/bin/python#coding=utf-8import numpy as npfrom scipy import statsimport matplotlib.pyplot as plt # 構(gòu)造訓(xùn)練數(shù)據(jù)x = np.arange(0., 10., 0.2)m = len(x) # 訓(xùn)練數(shù)據(jù)點(diǎn)數(shù)目x0 = np.full(m, 1.0)input_data = np.vstack([x0, x]).T # 將偏置b作為權(quán)向量的第一個(gè)分量target_data = 2 * x + 5 + np.random.randn(m) # 兩種終止條件loop_max = 10000 # 最大迭代次數(shù)(防止死循環(huán))epsilon = 1e-3 # 初始化權(quán)值np.random.seed(0)theta = np.random.randn(2)# w = np.zeros(2) alpha = 0.001 # 步長(zhǎng)(注意取值過(guò)大會(huì)導(dǎo)致振蕩,過(guò)小收斂速度變慢)diff = 0.error = np.zeros(2)count = 0 # 循環(huán)次數(shù)finish = 0 # 終止標(biāo)志######-隨機(jī)梯度下降算法while count < loop_max: count += 1 # 遍歷訓(xùn)練數(shù)據(jù)集，不斷更新權(quán)值 for i in range(m): diff = np.dot(theta, input_data[i]) - target_data[i] # 訓(xùn)練集代入,計(jì)算誤差值 # 采用隨機(jī)梯度下降算法,更新一次權(quán)值只使用一組訓(xùn)練數(shù)據(jù) theta = theta - alpha * diff * input_data[i] # ------------------------------終止條件判斷----------------------------------------- # 若沒終止，則繼續(xù)讀取樣本進(jìn)行處理，如果所有樣本都讀取完畢了,則循環(huán)重新從頭開始讀取樣本進(jìn)行處理。 # ----------------------------------終止條件判斷----------------------------------------- # 注意：有多種迭代終止條件，和判斷語(yǔ)句的位置。終止判斷可以放在權(quán)值向量更新一次后,也可以放在更新m次后。 if np.linalg.norm(theta - error) < epsilon: # 終止條件：前后兩次計(jì)算出的權(quán)向量的絕對(duì)誤差充分小 finish = 1 break else: error = thetaprint 'loop count = %d' % count, '/tw:',theta # check with scipy linear regressionslope, intercept, r_value, p_value, slope_std_error = stats.linregress(x, target_data)print 'intercept = %s slope = %s' % (intercept, slope) plt.plot(x, target_data, 'g*')plt.plot(x, theta[1] * x + theta[0], 'r')plt.show()
運(yùn)行結(jié)果截圖：
Mini-batch梯度下降
#!/usr/bin/python#coding=utf-8import numpy as npfrom scipy importstatsimport matplotlib.pyplot as plt # 構(gòu)造訓(xùn)練數(shù)據(jù)x = np.arange(0.,10.,0.2)m = len(x) # 訓(xùn)練數(shù)據(jù)點(diǎn)數(shù)目print mx0 = np.full(m, 1.0)input_data = np.vstack([x0, x]).T # 將偏置b作為權(quán)向量的第一個(gè)分量target_data = 2 *x + 5 +np.random.randn(m) # 兩種終止條件loop_max = 10000 #最大迭代次數(shù)(防止死循環(huán))epsilon = 1e-3 # 初始化權(quán)值np.random.seed(0)theta = np.random.randn(2) alpha = 0.001 #步長(zhǎng)(注意取值過(guò)大會(huì)導(dǎo)致振蕩即不收斂,過(guò)小收斂速度變慢)diff = 0.error = np.zeros(2)count = 0 #循環(huán)次數(shù)finish = 0 #終止標(biāo)志minibatch_size = 5 #每次更新的樣本數(shù)while count < loop_max: count += 1 # minibatch梯度下降是在權(quán)值更新前對(duì)所有樣例匯總誤差，而隨機(jī)梯度下降的權(quán)值是通過(guò)考查某個(gè)訓(xùn)練樣例來(lái)更新的 # 在minibatch梯度下降中，權(quán)值更新的每一步對(duì)多個(gè)樣例求和，需要更多的計(jì)算 for i inrange(1,m,minibatch_size): sum_m = np.zeros(2) for k inrange(i-1,i+minibatch_size-1,1): dif = (np.dot(theta, input_data[k]) - target_data[k]) *input_data[k] sum_m = sum_m + dif #當(dāng)alpha取值過(guò)大時(shí),sum_m會(huì)在迭代過(guò)程中會(huì)溢出 theta = theta- alpha * (1.0/minibatch_size) * sum_m #注意步長(zhǎng)alpha的取值,過(guò)大會(huì)導(dǎo)致振蕩 # 判斷是否已收斂 if np.linalg.norm(theta- error) < epsilon: finish = 1 break else: error = theta print 'loopcount = %d'% count, '/tw:',thetaprint 'loop count = %d'% count, '/tw:',theta # check with scipy linear regressionslope, intercept, r_value, p_value,slope_std_error = stats.linregress(x, target_data)print 'intercept = %s slope = %s'% (intercept, slope) plt.plot(x, target_data, 'g*')plt.plot(x, theta[1]* x +theta[0],'r')plt.show()
運(yùn)行結(jié)果：
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持VEVB武林網(wǎng)。
新聞熱點(diǎn)
疑難解答
圖片精選
