本文介紹了python opencv之SIFT算法示例，分享給大家，具體如下：
目標(biāo)：
學(xué)習(xí)SIFT算法的概念
學(xué)習(xí)在圖像中查找SIFT關(guān)鍵的和描述符
原理：
（原理部分自己找了不少文章，內(nèi)容中有不少自己理解和整理的東西，為了方便快速理解內(nèi)容和能夠快速理解原理，本文盡量不使用數(shù)學(xué)公式，僅僅使用文字來(lái)描述。本文中有很多引用別人文章的內(nèi)容，僅供個(gè)人記錄使用，若有錯(cuò)誤，請(qǐng)指正出來(lái)，萬(wàn)分感謝）
之前的harris算法和Shi-Tomasi 算法，由于算法原理所致，具有旋轉(zhuǎn)不變性，在目標(biāo)圖片發(fā)生旋轉(zhuǎn)時(shí)依然能夠獲得相同的角點(diǎn)。但是如果對(duì)圖像進(jìn)行縮放以后，再使用之前的算法就會(huì)檢測(cè)不出來(lái)，原理用一張圖表示（圖1）：
（harris算法和shi-tomasi算法都是基于窗口中像素分布和變化的原理，在圖像放大且窗口大小不發(fā)生變化的時(shí)，窗口中的像素信息則會(huì)有很大的不同，造成無(wú)法檢測(cè)的結(jié)果）
SIFT特性：
SIFT特點(diǎn)：
SIFT算法步驟：
尺度空間極值檢測(cè)：
尺度空間的個(gè)人理解：
你找一張分辨率1024×1024圖片，在電腦上觀看，十分清晰，但是圖片太大。現(xiàn)在把這圖片反正photoshop上，將分辨率改成512×512,圖片看著依然很清晰，但是不可能像1024×1024的畫(huà)面那么精細(xì)，只不過(guò)是因?yàn)槿搜蹣?gòu)造的原因，512×512圖片依然能讓你分辨出這是個(gè)什么東西。
粗俗點(diǎn)說(shuō)，尺度空間，就相當(dāng)于一個(gè)圖片需要獲得多少分辨率的量級(jí)。如果把一個(gè)圖片從原始分辨率到，不停的對(duì)其分辨率進(jìn)行減少，然后將這些圖片摞在一起，可以看成一個(gè)四棱錐的樣式，這個(gè)東西就叫做圖像金字塔（如下圖，圖2）。
再回到尺度空間，在攝像頭中，計(jì)算機(jī)無(wú)法分辨一個(gè)景物的尺度信息。而人眼不同，除了人大腦里已經(jīng)對(duì)物體有了基本的概念（例如正常人在十幾米外看到蘋果，和在近距離看到蘋果，都能認(rèn)出是蘋果）以外，人眼在距離物體近時(shí)，能夠獲得物體足夠多的特性，在距離物體遠(yuǎn)時(shí)，能夠或略細(xì)節(jié)，例如，近距離看一個(gè)人臉能看到毛孔，距離遠(yuǎn)了看不到毛孔等等。
在圖片信息當(dāng)中，分辨率都是固定的，要想得到類似人眼的效果，就要把圖片弄成不同的分辨率，制作成圖像金字塔來(lái)模擬人眼的功能，從而在其他圖片中進(jìn)行特征識(shí)別時(shí)，能夠像人眼睛一樣，即使要識(shí)別的物體尺寸變大或者變小，也能夠識(shí)別出來(lái)！
從圖1可以看出，如果如果圖像變大，窗口大小還是以前的大小，則無(wú)法正確檢測(cè)出角點(diǎn)。那么很自然的就能想到，如果圖片變大，咱們把窗口也放大不就行了？ 這就需要上面提到的尺度空間發(fā)揮作用。
在SIFT當(dāng)中，利用了一個(gè)叫做高斯核的方程來(lái)構(gòu)建尺度空間，原因是高斯核函數(shù)是唯一多尺度空間的核。聽(tīng)起來(lái)比較晦澀，個(gè)人理解為：
高斯核函數(shù)在之前的高斯濾波當(dāng)中使用過(guò)，其原理就是利用高斯分布的特性，在以某一個(gè)點(diǎn)為中心要進(jìn)行以某一個(gè)窗口大小進(jìn)行模糊的操作。那么，根據(jù)濾波的原理，距離中心像素點(diǎn)位置的距離越遠(yuǎn)的像素點(diǎn)，需要“模糊化效果”的值就應(yīng)該越少。那么這個(gè)距離值的分配方法，就是利用滿足高斯核函數(shù)的分配方法，由中心，到四周，符合高斯核函數(shù)的“鐘型”曲線（從二維上看）。
那么尺度空間中的高斯核也可以這么理解，高斯核函數(shù)的參數(shù)有三個(gè)
構(gòu)建尺度空間的目的是為了檢測(cè)出在不同的尺度下都存在的特征點(diǎn)，如此可以獲得縮放不變性
其中利用圖像
如果求取特征點(diǎn)，可以使用一個(gè)叫做拉普拉斯算子進(jìn)行運(yùn)算
但是，由于拉普拉斯算子的效率太低，再SIFT算法當(dāng)中使用差分來(lái)代替。
高斯金字塔：
在建立尺度空間后，需要找到關(guān)鍵點(diǎn)，此時(shí)需要實(shí)現(xiàn)高斯金字塔的構(gòu)造來(lái)實(shí)現(xiàn)關(guān)鍵點(diǎn)的求取。在高斯金字塔當(dāng)中，“塔”的每一層都是圖像，“塔”的高度就是上面提到的尺度σ。“塔”的每一層對(duì)應(yīng)一個(gè)σ值，同時(shí)將高斯金字塔中的圖像分成組，每組當(dāng)中圖像的尺寸相同，但是尺度σ不同。具體尺度之間的計(jì)算關(guān)系，先忽略，如下圖所示：
高斯差分金字塔DOG：
每一組相鄰當(dāng)中相鄰兩層的圖像做差，得到的圖像再“疊”成一個(gè)金字塔就是高斯差分金字塔DOG。
DOG局部特征點(diǎn)檢測(cè)：
有了差分金字塔，現(xiàn)在便可以計(jì)算關(guān)鍵點(diǎn)（特征點(diǎn)）。由于金字塔的模型不是二維模型，而是一個(gè)三維模型，這里計(jì)算極值的方法也不再是二維求取極值的方法。
計(jì)算一個(gè)某一個(gè)點(diǎn)是否是局部最大值，在離散的三維空間當(dāng)中，以該點(diǎn)為中心，檢測(cè)它周圍的點(diǎn)。類似魔方的中心位置一樣，如下圖中的“叉”就是待計(jì)算是否是局部極值點(diǎn)。
這里說(shuō)明，局部極值點(diǎn)都是在同一個(gè)組當(dāng)中進(jìn)行的，所以肯定有這樣的問(wèn)題，某一組當(dāng)中的第一個(gè)圖和最后一個(gè)圖層沒(méi)有前一張圖和下一張圖，那該怎么計(jì)算？ 解決辦法是，在用高斯模糊，在高斯金字塔多“模糊”出三張來(lái)湊數(shù)，所以在DOG中多出兩張。
關(guān)鍵點(diǎn)定位：
上面找到的關(guān)鍵點(diǎn)要進(jìn)行處理，去除一些不好的特征點(diǎn)，保存下來(lái)的特征點(diǎn)能夠滿足穩(wěn)定性等條件。
主要是去掉DOG局部曲率非常不對(duì)稱的像素。
因?yàn)榈蛯?duì)比度的特征點(diǎn)和邊界點(diǎn)對(duì)光照和噪聲變化非常敏感，所以要去掉。利用閾值的方法來(lái)限制，在opencv中為contrastThreshold。
去除低對(duì)比度的特征點(diǎn)：
使用泰勒公式對(duì)DOG函數(shù)空間進(jìn)行擬合，去掉小于修正閾值的關(guān)鍵點(diǎn)。
去除不穩(wěn)定的邊界點(diǎn)：
利用Hessian矩陣（就是求導(dǎo)數(shù)的矩陣），利用邊緣梯度的方向上主曲率值比較大，而沿著邊緣方向則主曲率值較小的原理，將主曲率限制為某個(gè)值。滿足該值條件的點(diǎn)留下，反之去除。
關(guān)鍵點(diǎn)設(shè)定方向參數(shù)：
每個(gè)關(guān)鍵點(diǎn)設(shè)置方向以后可以獲得旋轉(zhuǎn)不變性。
獲取關(guān)鍵點(diǎn)所在尺度空間的鄰域，然后計(jì)算該區(qū)域的梯度和方向，根據(jù)計(jì)算得到的結(jié)果創(chuàng)建方向直方圖，直方圖的峰值為主方向的參數(shù)，其他高于主方向百分之80的方向被判定為輔助方向，這樣設(shè)定對(duì)穩(wěn)定性有很大幫助。如圖
關(guān)鍵點(diǎn)描述符：
經(jīng)過(guò)上面的步驟計(jì)算，每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息，位置、尺度、方向。所以具備平移、縮放、和旋轉(zhuǎn)不變性。
接下來(lái)對(duì)每個(gè)關(guān)鍵點(diǎn)用一組向量將這個(gè)關(guān)鍵點(diǎn)描述出來(lái)，使其不隨著光照、視角等等影響而改變。該描述符不但涉及關(guān)鍵點(diǎn)，而且還涉及到關(guān)鍵點(diǎn)周圍的像素，使其有更強(qiáng)的不變特性。
基本原理是選取關(guān)鍵點(diǎn)周圍16×16的像素區(qū)域，分成4個(gè)小塊，每個(gè)小塊創(chuàng)建8個(gè)bin的直方圖，這總共的128個(gè)信息的向量就是關(guān)鍵點(diǎn)描述符的主要內(nèi)容。此外還要測(cè)量，以達(dá)到光照、旋轉(zhuǎn)的穩(wěn)定性。如圖
關(guān)鍵點(diǎn)匹配：
分別對(duì)模板圖和實(shí)時(shí)圖建立關(guān)鍵點(diǎn)描述符集合，通過(guò)對(duì)比關(guān)鍵點(diǎn)描述符來(lái)判斷兩個(gè)關(guān)鍵點(diǎn)是否相同。128個(gè)信息的向量使用歐氏距離來(lái)實(shí)現(xiàn)。
在關(guān)鍵點(diǎn)的匹配當(dāng)中，使用的搜索算法為區(qū)域搜索算法當(dāng)中最常用的k-d樹(shù)實(shí)現(xiàn)。
比較之后，需要在進(jìn)行消除錯(cuò)配點(diǎn)才算完成。
OpenCV 中的 SIFT：
關(guān)于opencv版本與SIFT算法不能調(diào)用的問(wèn)題：
SIFT算法是一個(gè)有專利的算法，在商業(yè)用途上是收費(fèi)的。對(duì)于窮B學(xué)生，算法的發(fā)明者還比較仁慈，可以使用。
不過(guò)，在python當(dāng)中使用SIFT算法和版本之間有不少關(guān)系，源文檔當(dāng)中使用opencv版本是2.4.9版本，此版本可以隨意使用SIFT算法。
但是，在opencv3當(dāng)中就沒(méi)那么幸運(yùn)了，opencv中的很多特征點(diǎn)提取算法都和cv2中的庫(kù)分離開(kāi)，必須要添加opencv-contrib才可以使用，本人使用的opencv版本是3.3.0，幾乎是最新的版本。
網(wǎng)上有一大堆教程關(guān)于如何在opencv當(dāng)中如何添加opencv-contrib的教程，使用cmake，使用vs，啥的非常麻煩。
本人狗急跳墻，尋思在pip上面有沒(méi)有啥第三方的庫(kù)可以直接就將opencv-contrib這個(gè)庫(kù)。
結(jié)果，還真找到了 哈哈。
這下方便了，只要在你的控制臺(tái)當(dāng)中輸入
pip install opencv-contrib-python即可
如果pip安裝不上去
直接上官方上面下個(gè)輪子，然后pip安裝就能用了
import cv2import numpy as npimg = cv2.imread('1.jpg')gray= cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)sift = cv2.xfeatures2d.SIFT_create()kp = sift.detect(gray,None)#找到關(guān)鍵點(diǎn)img=cv2.drawKeypoints(gray,kp,img)#繪制關(guān)鍵點(diǎn)cv2.imshow('sp',img)cv2.waitKey(0)返回的關(guān)鍵點(diǎn)是一個(gè)帶有很多不用屬性的特殊結(jié)構(gòu)體，屬性當(dāng)中有坐標(biāo)，方向、角度等等。
計(jì)算關(guān)鍵點(diǎn)描述符：
使用sift.compute()函數(shù)來(lái)進(jìn)行計(jì)算關(guān)鍵點(diǎn)描述符
kp,des = sift.compute(gray,kp)
如果未找到關(guān)鍵點(diǎn)，可使用函數(shù)sift.detectAndCompute()直接找到關(guān)鍵點(diǎn)并計(jì)算。
在第二個(gè)函數(shù)中，kp為關(guān)鍵點(diǎn)列表，des為numpy的數(shù)組，為關(guān)鍵點(diǎn)數(shù)目×128
sift = cv2.xfeatures2d.SIFT_create()kp, des = sift.detectAndCompute(gray,None)
結(jié)果如圖
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持VEVB武林網(wǎng)。
新聞熱點(diǎn)
疑難解答
圖片精選
