国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python實現SOM算法

2020-01-04 15:49:22
字體:
來源:轉載
供稿:網友

算法簡介

SOM網絡是一種競爭學習型的無監督神經網絡,將高維空間中相似的樣本點映射到網絡輸出層中的鄰近神經元。

訓練過程簡述:在接收到訓練樣本后,每個輸出層神經元會計算該樣本與自身攜帶的權向量之間的距離,距離最近的神經元成為競爭獲勝者,稱為最佳匹配單元。然后最佳匹配單元及其鄰近的神經元的權向量將被調整,以使得這些權向量與當前輸入樣本的距離縮小。這個過程不斷迭代,直至收斂。

  • 網絡結構:輸入層和輸出層(或競爭層),如下圖所示。
  • 輸入層:假設一個輸入樣本為X=[x1,x2,x3,…,xn],是一個n維向量,則輸入層神經元個數為n個。
  • 輸出層(競爭層):通常輸出層的神經元以矩陣方式排列在二維空間中,每個神經元都有一個權值向量。
  • 假設輸出層有m個神經元,則有m個權值向量,Wi = [wi1,wi2,....,win], 1<=i<=m。

python,SOM,聚類算法

算法流程:

1. 初始化:權值使用較小的隨機值進行初始化,并對輸入向量和權值做歸一化處理
          X' = X/||X||
          ω'i= ωi/||ωi||, 1<=i<=m
          ||X||和||ωi||分別為輸入的樣本向量和權值向量的歐幾里得范數。

2.將樣本輸入網絡:樣本與權值向量做點積,點積值最大的輸出神經元贏得競爭,
(或者計算樣本與權值向量的歐幾里得距離,距離最小的神經元贏得競爭)記為獲勝神經元。

3.更新權值:對獲勝的神經元拓撲鄰域內的神經元進行更新,并對學習后的權值重新歸一化。
        ω(t+1)= ω(t)+ η(t,n) * (x-ω(t))
        η(t,n):η為學習率是關于訓練時間t和與獲勝神經元的拓撲距離n的函數。
        η(t,n)=η(t)e^(-n)
        η(t)的幾種函數圖像如下圖所示。

4.更新學習速率η及拓撲鄰域N,N隨時間增大距離變小,如下圖所示。

5.判斷是否收斂。如果學習率η<=ηmin或達到預設的迭代次數,結束算法。

python,SOM,聚類算法 python,SOM,聚類算法

python代碼實現SOM

import numpy as npimport pylab as plclass SOM(object):  def __init__(self, X, output, iteration, batch_size):    """    :param X: 形狀是N*D, 輸入樣本有N個,每個D維    :param output: (n,m)一個元組,為輸出層的形狀是一個n*m的二維矩陣    :param iteration:迭代次數    :param batch_size:每次迭代時的樣本數量    初始化一個權值矩陣,形狀為D*(n*m),即有n*m權值向量,每個D維    """    self.X = X    self.output = output    self.iteration = iteration    self.batch_size = batch_size    self.W = np.random.rand(X.shape[1], output[0] * output[1])    print (self.W.shape)  def GetN(self, t):    """    :param t:時間t, 這里用迭代次數來表示時間    :return: 返回一個整數,表示拓撲距離,時間越大,拓撲鄰域越小    """    a = min(self.output)    return int(a-float(a)*t/self.iteration)  def Geteta(self, t, n):    """    :param t: 時間t, 這里用迭代次數來表示時間    :param n: 拓撲距離    :return: 返回學習率,    """    return np.power(np.e, -n)/(t+2)  def updata_W(self, X, t, winner):    N = self.GetN(t)    for x, i in enumerate(winner):      to_update = self.getneighbor(i[0], N)      for j in range(N+1):        e = self.Geteta(t, j)        for w in to_update[j]:          self.W[:, w] = np.add(self.W[:,w], e*(X[x,:] - self.W[:,w]))  def getneighbor(self, index, N):    """    :param index:獲勝神經元的下標    :param N: 鄰域半徑    :return ans: 返回一個集合列表,分別是不同鄰域半徑內需要更新的神經元坐標    """    a, b = self.output    length = a*b    def distence(index1, index2):      i1_a, i1_b = index1 // a, index1 % b      i2_a, i2_b = index2 // a, index2 % b      return np.abs(i1_a - i2_a), np.abs(i1_b - i2_b)    ans = [set() for i in range(N+1)]    for i in range(length):      dist_a, dist_b = distence(i, index)      if dist_a <= N and dist_b <= N: ans[max(dist_a, dist_b)].add(i)    return ans  def train(self):    """    train_Y:訓練樣本與形狀為batch_size*(n*m)    winner:一個一維向量,batch_size個獲勝神經元的下標    :return:返回值是調整后的W    """    count = 0    while self.iteration > count:      train_X = self.X[np.random.choice(self.X.shape[0], self.batch_size)]      normal_W(self.W)      normal_X(train_X)      train_Y = train_X.dot(self.W)      winner = np.argmax(train_Y, axis=1).tolist()      self.updata_W(train_X, count, winner)      count += 1    return self.W  def train_result(self):    normal_X(self.X)    train_Y = self.X.dot(self.W)    winner = np.argmax(train_Y, axis=1).tolist()    print (winner)    return winnerdef normal_X(X):  """  :param X:二維矩陣,N*D,N個D維的數據  :return: 將X歸一化的結果  """  N, D = X.shape  for i in range(N):    temp = np.sum(np.multiply(X[i], X[i]))    X[i] /= np.sqrt(temp)  return Xdef normal_W(W):  """  :param W:二維矩陣,D*(n*m),D個n*m維的數據  :return: 將W歸一化的結果  """  for i in range(W.shape[1]):    temp = np.sum(np.multiply(W[:,i], W[:,i]))    W[:, i] /= np.sqrt(temp)  return W#畫圖def draw(C):  colValue = ['r', 'y', 'g', 'b', 'c', 'k', 'm']  for i in range(len(C)):    coo_X = []  #x坐標列表    coo_Y = []  #y坐標列表    for j in range(len(C[i])):      coo_X.append(C[i][j][0])      coo_Y.append(C[i][j][1])    pl.scatter(coo_X, coo_Y, marker='x', color=colValue[i%len(colValue)], label=i)  pl.legend(loc='upper right')  pl.show()#數據集:每三個是一組分別是西瓜的編號,密度,含糖量data = """1,0.697,0.46,2,0.774,0.376,3,0.634,0.264,4,0.608,0.318,5,0.556,0.215,6,0.403,0.237,7,0.481,0.149,8,0.437,0.211,9,0.666,0.091,10,0.243,0.267,11,0.245,0.057,12,0.343,0.099,13,0.639,0.161,14,0.657,0.198,15,0.36,0.37,16,0.593,0.042,17,0.719,0.103,18,0.359,0.188,19,0.339,0.241,20,0.282,0.257,21,0.748,0.232,22,0.714,0.346,23,0.483,0.312,24,0.478,0.437,25,0.525,0.369,26,0.751,0.489,27,0.532,0.472,28,0.473,0.376,29,0.725,0.445,30,0.446,0.459"""a = data.split(',')dataset = np.mat([[float(a[i]), float(a[i+1])] for i in range(1, len(a)-1, 3)])dataset_old = dataset.copy()som = SOM(dataset, (5, 5), 1, 30)som.train()res = som.train_result()classify = {}for i, win in enumerate(res):  if not classify.get(win[0]):    classify.setdefault(win[0], [i])  else:    classify[win[0]].append(i)C = []#未歸一化的數據分類結果D = []#歸一化的數據分類結果for i in classify.values():  C.append(dataset_old[i].tolist())  D.append(dataset[i].tolist())draw(C)draw(D)

由于數據比較少,就直接用的訓練集做測試了,運行結果圖如下,分別是對未歸一化的數據和歸一化的數據進行的展示。

python,SOM,聚類算法 python,SOM,聚類算法

參考內容:

1.《機器學習》周志華
2.自組織競爭神經網絡SOM

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持VEVB武林網。


注:相關教程知識閱讀請移步到python教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 建湖县| 鸡东县| 九龙坡区| 获嘉县| 临沂市| 阿荣旗| 五河县| 本溪市| 万盛区| 富川| 于田县| 壶关县| 阿拉善左旗| 密云县| 勐海县| 滁州市| 宜丰县| 龙井市| 盱眙县| 长宁县| 莱芜市| 石家庄市| 丽江市| 绥宁县| 巨鹿县| 融水| 大庆市| 福清市| 宁强县| 东城区| 霍山县| 罗定市| 山西省| 定州市| 和龙市| 泊头市| 昭通市| 宿州市| 阳春市| 云和县| 奎屯市|