圖像特征的提取和選擇是圖像處理過程中最重要的環(huán)節(jié)之一，對后續(xù)圖像分類有著重要的影響，并且對于圖像數(shù)據(jù)具有樣本少，維數(shù)高的特點(diǎn)，要從圖像中提取有用的信息，必須對圖像特征進(jìn)行降維處理，特征提取與特征選擇就是最有效的降維方法，其目的是得到一個(gè)反映數(shù)據(jù)本質(zhì)結(jié)構(gòu)、識別率更高的特征子空間 。

圖像特征提取的主要算法有，HOG、LBP、HAAR、SIFT、SURF、ORB等。

一、向梯度直方圖特征(HOG)

方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述器。它的主要思想是獲取圖像的輪廓信息，通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。其主要的提取過程如下：

(1) 首先將一個(gè)圖像灰度化，看做一個(gè)x,y,z的三維圖像，采用Gamma校正法對輸入圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化，其目的是為了調(diào)節(jié)圖像的對比度，降低圖像局部的陰影和光照變化所造成的影響，抑制噪音干擾。

(2) 計(jì)算圖像每個(gè)像素的梯度，獲取圖像的輪廓信息。

(3) 將圖像劃分為多個(gè)子區(qū)域(cell)，并統(tǒng)計(jì)每個(gè)cell的梯度直方圖，即獲得每個(gè)cell的descriptor。

(4) 將每幾個(gè)cell組成一個(gè)block，一個(gè)block內(nèi)所有cell的特征descriptor串聯(lián)起來便得到該block的HOG特征descriptor。

(5) 將圖像內(nèi)的所有block的HOG特征descriptor串聯(lián)起來就可以得到該圖像的HOG特征descriptor了，即最終的可供分類使用的特征向量。

目前Hog特征結(jié)合SVM分類器已經(jīng)被廣泛應(yīng)用于圖像識別中。

二、局部二值模式特征(LBP)

局部二值模式(Local Binary Pattern，LBP)是一種用來描述圖像局部紋理特征的算子。它具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點(diǎn)。原始的LBP算子定義為在3*3的窗口內(nèi)，以窗口中心像素為閾值，將相鄰的8個(gè)像素的灰度值與其進(jìn)行比較，若周圍像素值大于中心像素值，則該像素點(diǎn)的位置被標(biāo)記為1，否則為0。這樣，3*3鄰域內(nèi)的8個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8位二進(jìn)制數(shù)，即得到該窗口中心像素點(diǎn)的LBP值，并用這個(gè)值來反映該區(qū)域的紋理信息。

但是直接對兩幅圖片按此方法提取的特征進(jìn)行判別分析，很可能會因?yàn)椤拔恢脹]有對準(zhǔn)”而產(chǎn)生較大的誤差。后來研究人員發(fā)現(xiàn)，可以將一幅圖片劃分為若干的子區(qū)域，對每個(gè)子區(qū)域內(nèi)的每個(gè)像素點(diǎn)都提取LBP特征，然后，在每個(gè)子區(qū)域內(nèi)建立LBP特征的統(tǒng)計(jì)直方圖。如此一來，每個(gè)子區(qū)域，就可以用一個(gè)統(tǒng)計(jì)直方圖來進(jìn)行描述，整個(gè)圖片就由若干個(gè)統(tǒng)計(jì)直方圖組成。其主要的提取過程如下：

(1) 將圖像劃分為16*16的子區(qū)域(cell)。

(2) 對于每個(gè)cell中的一個(gè)像素，將相鄰的8個(gè)像素的灰度值與其進(jìn)行比較，若周圍像素值大于中心像素值，則該像素點(diǎn)的位置被標(biāo)記為1，否則為0。這樣，3*3鄰域內(nèi)的8個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8位二進(jìn)制數(shù)，即得到該窗口中心像素點(diǎn)的LBP值。

(3) 計(jì)算每個(gè)cell的直方圖，即每個(gè)數(shù)字出現(xiàn)的頻率，然后對該直方圖進(jìn)行歸一化處理。

(4) 將得到的每個(gè)cell的統(tǒng)計(jì)直方圖進(jìn)行連接成為一個(gè)特征向量，也就是整幅圖的LBP紋理特征向量。

三、Haar-like特征

Haar-like特征最早是由Papageorgiou等應(yīng)用于人臉表示，Viola和Jones在此基礎(chǔ)上，使用三種類型四種形式的特征。Haar-like特征是很簡單，特征可分為幾類，如兩矩形特征、三矩形特征、對角特征。后來，還加入了邊緣特征、線特征、中心環(huán)繞特征等。使用積分圖可以加速計(jì)算特征。最后，使用集成的方法Adaboost進(jìn)行訓(xùn)練。Haar特征只是使用特征模板，計(jì)算圖像顏色的深淺模式，模板以不同的大小和位置在子圖像中滑動，計(jì)算出特征值來，交給boost分類器。Haar與LBP有一些相似之處，都是灰度差。

四、SIFT特征

SIFT特征提取的關(guān)鍵點(diǎn)是角點(diǎn)，在不同的尺度空間上查找關(guān)鍵點(diǎn)(特征點(diǎn))，并計(jì)算出關(guān)鍵點(diǎn)的方向。SIFT所查找到的關(guān)鍵點(diǎn)是一些十分突出、不會因光照、仿射變換和噪音等因素而變化的點(diǎn)，如角點(diǎn)、邊緣點(diǎn)、暗區(qū)的亮點(diǎn)及亮區(qū)的暗點(diǎn)等。它通過構(gòu)建高斯金字塔，保證圖像在任何尺度都能有對應(yīng)的特征點(diǎn)，即保證尺度不變性。為了實(shí)現(xiàn)旋轉(zhuǎn)不變性，需要根據(jù)檢測到的關(guān)鍵點(diǎn)的局部圖像結(jié)構(gòu)為特征點(diǎn)賦值，具體做法是用梯度方向直方圖。關(guān)鍵點(diǎn)描述器不僅包括關(guān)鍵點(diǎn)，還包括關(guān)鍵點(diǎn)周圍對其有貢獻(xiàn)的像素點(diǎn)。為了保證旋轉(zhuǎn)不變性，要以特征點(diǎn)為中心，在附近領(lǐng)域內(nèi)旋轉(zhuǎn)θ角(即旋轉(zhuǎn)為特征點(diǎn)的方向)，然后計(jì)算采樣區(qū)域的梯度直方圖，形成n維SIFT特征矢量。特征向量形成后，為了去除光照變化的影響，需要對它們進(jìn)行歸一化處理。

HOG、LBP、HAAR等提取的是面的信息，是描述一塊區(qū)域的特征，這些特征可以用于人臉、人體等物體識別。SIFT、SURF、ORB等提取的是關(guān)鍵點(diǎn)的信息，可以用于表示某些圖像的細(xì)節(jié)，可用于圖像匹配和三維建模等算法。

五、SURF算法

SURF（Speeded-Up Robust Features）加速穩(wěn)健特征，是一種穩(wěn)健的局部特征點(diǎn)檢測和描述算法。SURF是對SIFT算法的改進(jìn)，該算子在保持 SIFT 算子優(yōu)良性能特點(diǎn)的基礎(chǔ)上，同時(shí)解決了 SIFT 計(jì)算復(fù)雜度高、耗時(shí)長的缺點(diǎn)，提升了算法的執(zhí)行效率，為算法在實(shí)時(shí)計(jì)算機(jī)視覺系統(tǒng)中應(yīng)用提供了可能。

SURF算法與SIFT算法在很多方面都有較大差異。

在生成尺度空間方面，SIFT中下一組圖像的尺寸是上一組的一半，同一組間圖像尺寸一樣，但是所使用的高斯模糊系數(shù)逐漸增大。而在SURF中，不同組間圖像的尺寸都是一致的，但不同組間使用的盒式濾波器的模板尺寸逐漸增大，同一組間不同層間使用相同尺寸的濾波器，但是濾波器的模糊系數(shù)逐漸增大。

在特征點(diǎn)檢驗(yàn)時(shí)，SIFT算子是先對圖像進(jìn)行非極大值抑制，再去除對比度較低的點(diǎn)。然后通過Hessian矩陣去除邊緣的點(diǎn)。SURF算法是先通過Hessian矩陣來檢測候選特征點(diǎn)，然后再對非極大值的點(diǎn)進(jìn)行抑制。

在特征向量的方向確定上，SIFT算法是在正方形區(qū)域內(nèi)統(tǒng)計(jì)梯度的幅值的直方圖，找到最大梯度幅值所對應(yīng)的方向。SIFT算子確定的特征點(diǎn)可以有一個(gè)或一個(gè)以上方向，其中包括一個(gè)主方向與多個(gè)輔方向。SURF算法則是在圓形鄰域內(nèi)，檢測各個(gè)扇形范圍內(nèi)水平、垂直方向上的Haar小波響應(yīng)，找到模值最大的扇形指向，且該算法的方向只有一個(gè)。

（4）SIFT算法生成描述子時(shí)，是將16x16的采樣點(diǎn)劃分為4x4的區(qū)域，從而計(jì)算每個(gè)分區(qū)種子點(diǎn)的幅值并確定其方向，共計(jì)4x4x8=128維。SURF算法在生成特征描述子時(shí)將的正方形分割成4x4的小方格，每個(gè)子區(qū)域25個(gè)采樣點(diǎn)，計(jì)算小波haar響應(yīng)，一共4x4x4=64維。

綜上，SURF算法在各個(gè)步驟上都簡化了一些繁瑣的工作，僅僅計(jì)算了特征點(diǎn)的一個(gè)主方向，生成的特征描述子也與前者相比降低了維數(shù)。

OpenCV SURF特征檢測

六、ORB算法

ORB 是 Oriented Fast and Rotated Brief 的簡稱，可以用來對圖像中的關(guān)鍵點(diǎn)快速創(chuàng)建特征向量，這些特征向量可以用來識別圖像中的對象。

其中，F(xiàn)ast和Brief 分別是特征檢測算法和向量創(chuàng)建算法。ORB 首先會從圖像中查找特殊區(qū)域，稱為關(guān)鍵點(diǎn)。關(guān)鍵點(diǎn)即圖像中突出的小區(qū)域，比如角點(diǎn)，比如它們具有像素值急劇的從淺色變?yōu)樯钌奶卣鳌Ｈ缓?ORB 會為每個(gè)關(guān)鍵點(diǎn)計(jì)算相應(yīng)的特征向量。ORB 算法創(chuàng)建的特征向量只包含 1 和 0，稱為二元特征向量。1 和 0 的順序會根據(jù)特定關(guān)鍵點(diǎn)和其周圍的像素區(qū)域而變化。該向量表示關(guān)鍵點(diǎn)周圍的強(qiáng)度模式，因此多個(gè)特征向量可以用來識別更大的區(qū)域，甚至圖像中的特定對象。

ORB 的特點(diǎn)是速度非?？?，而且在一定程度上不受噪點(diǎn)和圖像變換的影響，例如旋轉(zhuǎn)和縮放變換等。

OpenCV中的ORB提取結(jié)果

喜歡本文的話，歡迎關(guān)注活在信息時(shí)代哦：）