前面一篇文章有說過,利用scrapy來爬取圖片,是為了對圖片數(shù)據(jù)進(jìn)行分類而收集數(shù)據(jù)。
本篇文章就是利用上次爬取的圖片數(shù)據(jù),根據(jù)圖片的顏色特征來做一個(gè)簡單的分類處理。
實(shí)現(xiàn)步驟如下:
1:圖片路徑添加
2:對比度處理
3:濾波處理
4:數(shù)據(jù)提取以及特征向量化
5:圖片分類處理
6:根據(jù)處理結(jié)果將圖片分類保存
代碼量中等,還可以更少,只是我為了練習(xí)類的使用,而將每個(gè)步驟都封裝成了一個(gè)獨(dú)立的類,當(dāng)然里面也有類繼承的問題,遇到的問題前面一篇文章有講解。內(nèi)容可能有點(diǎn)繁瑣,尤其是文件和路徑的使用(可以自己修改),已經(jīng)盡量優(yōu)化代碼了。
爬取的原始數(shù)據(jù)如下:

直接上代碼:
import osimport numpy as npimport skimageimport matplotlib.pyplot as pltfrom skimage import io #讀取圖片from skimage import exposure #調(diào)用調(diào)對比度的方法 rescale_intensity、equalize_histfrom skimage.filters import gaussian #高斯from skimage import img_as_float #圖片unit8類型到floatfrom scipy.cluster.vq import kmeans,vq,whiten #聚類算法import shutil #文件夾內(nèi)容刪除 class Path(object): def __init__(self): self.path = r"D:/PYscrapy/get_lixiaoran/picture" self.pathlist = [] #原始圖片列表 self.page = 0 def append(self): #將每張圖片的路徑加載到列表中 much = os.listdir(self.path) for i in range(len(much)): repath = os.path.join(self.path,str(self.page)+'.jpg') self.page +=1 self.pathlist.append(repath) return self.pathlist class Contrast(object): def __init__(self,pathlist): self.pathlist = pathlist self.contrastlist = [] #改變對比度之后的圖片列表 self.path2 = r"D:/PYscrapy/get_lixiaoran/picture2" self.page2 = 0 def balance(self): #將每張圖片進(jìn)行對比度的處理,兩種方式 1:均衡化 2:從某個(gè)值開始取極值 if os.path.exists(self.path2) == False: os.mkdir(self.path2) # for lis in self.pathlist: # data = skimage.io.imread(lis) # equalized = exposure.equalize_hist(data) #方法一這里使用個(gè)人人為更好的均衡化處理對比度的方法 # self.contrastlist.append(equalized) for lis in self.pathlist: data = skimage.io.imread(lis) high_contrast = exposure.rescale_intensity(data,in_range=(20,220)) #方法二 以20和220取兩端極值 self.contrastlist.append(high_contrast) for img in self.contrastlist: repath = os.path.join(self.path2,str(self.page2)+'.jpg') #保存修改后的圖片 skimage.io.imsave(repath,img) self.page2 +=1 class Filter(Contrast): def __init__(self,pathlist): super().__init__(pathlist) self.path31 = self.path2 self.path32 = r"D:/PYscrapy/get_lixiaoran/picture3" self.page3 = 0 self.filterlist = [] def filte_r(self): img = os.listdir(self.path31) #讀取文件內(nèi)容 if os.path.exists(self.path32) == False: os.mkdir(self.path32) for lis in range(len(img)): #循環(huán)做每張圖片的高斯過濾 path = os.path.join(self.path31,str(lis)+r'.jpg') img = skimage.io.imread(path) gas = gaussian(img,sigma=3) #multichannel=False 去掉顏色2D self.filterlist.append(gas) path_gas = os.path.join(self.path32,str(self.page3)+r'.jpg') skimage.io.imsave(path_gas,gas) self.page3 +=1 return self.path32 class Vectoring(object): def __init__(self,filter_path): self.path41 = filter_path self.diff = [] self.calculate = [] def vector(self): numbers = os.listdir(self.path41) #獲取文件夾內(nèi)容 os.chdir(self.path41) #切換路徑 for i in range(len(numbers)): self.diff.append([]) for j in range(4): self.diff[i].append([]) #diff[[number],[img_float],[bin_centers],[hist]] for cnt,number in enumerate(numbers): img_float = img_as_float(skimage.io.imread(number)) #將圖像ndarry nint8->float hist,bin_centers = exposure.histogram(img_float,nbins=10) #取圖像的 每個(gè)區(qū)間的像素值 分隔區(qū)間 self.diff[cnt][0] = number self.diff[cnt][1] = img_float self.diff[cnt][2] = bin_centers #把數(shù)據(jù)添加到diff中 self.diff[cnt][3] = hist for i,j in enumerate(self.diff): #使用hist和bin_centers相乘來降維,向量化 self.calculate.append([y*self.diff[i][3][x] for x,y in enumerate(self.diff[i][2])]) #這里可能需要理解一下,就是涉及的參數(shù)有點(diǎn)多 for i in range(len(self.diff)): self.diff[i].append(self.calculate[i]) #將特征向量calculate也加入到diff中 return self.diff #diff[[number],[img_float],[bin_centers],[hist],[calculate]] class Modeling(Vectoring): def __init__(self,filter_path,K): super().__init__(filter_path) self.K = K def model(self): diff = self.vector() calculate = [] for i in range(len(diff)): calculate.append(diff[i][4]) spot = whiten(calculate) #這里使用scipy的k-means方法來對圖片進(jìn)行分類 center,_ = kmeans(spot,self.K) #如果對scipy的k-means不熟悉,前面有專門的講解 cluster,_ = vq(spot,center) return diff,cluster #獲得預(yù)測值 class Predicting(object): def __init__(self,predicted_diff,predicted_cluster,K): self.diff = predicted_diff self.cluster = predicted_cluster self.path42 = r'D:/PYscrapy/get_lixiaoran/picture4' self.K = K def predicted(self): if os.path.exists(self.path42) == True: much = shutil.rmtree(self.path42) os.mkdir(self.path42) else: os.mkdir(self.path42) os.chdir(self.path42) for i in range(self.K): #創(chuàng)建K個(gè)文件夾 os.mkdir('classify{}'.format(i)) for i,j in enumerate(self.cluster): skimage.io.imsave('classify{}//{}'.format(j,self.diff[i][0]),self.diff[i][1]) #根據(jù)圖片的分類來將它們保存至對應(yīng)的文件夾 if __name__=="__main__": np.random.seed(10) #文件路徑添加 start = Path() pathlist = start.append() #對比度類 second = Contrast(pathlist) second.balance() #get改變對比度后的圖片個(gè)數(shù) #高斯過濾 filte = Filter(pathlist) filter_path = filte.filte_r() #數(shù)據(jù)提取及向量化 vectoring = Vectoring(filter_path) #K值的自定義 K = 3 #建模 modeling = Modeling(filter_path,K) predicted_diff,predicted_cluster = modeling.model() #預(yù)測 predicted = Predicting(predicted_diff,predicted_cluster,K) predicted.predicted()
新聞熱點(diǎn)
疑難解答
圖片精選