使用OpenCV与Python比较图像的相似性

我试图将图像与其他图像的列表进行比较,并返回此列表的一系列图像(如Google搜索图像),最多具有70%的相似性。

我得到这个代码在this post和更改为我的上下文

# Load the images
img =cv2.imread(MEDIA_ROOT + "/uploads/imagerecognize/armchair.jpg")

# Convert them to grayscale
imgg =cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

# SURF extraction
surf = cv2.FeatureDetector_create("SURF")
surfDescriptorExtractor = cv2.DescriptorExtractor_create("SURF")
kp = surf.detect(imgg)
kp, descritors = surfDescriptorExtractor.compute(imgg,kp)

# Setting up samples and responses for kNN
samples = np.array(descritors)
responses = np.arange(len(kp),dtype = np.float32)

# kNN training
knn = cv2.KNearest()
knn.train(samples,responses)

modelImages = [MEDIA_ROOT + "/uploads/imagerecognize/1.jpg", MEDIA_ROOT + "/uploads/imagerecognize/2.jpg", MEDIA_ROOT + "/uploads/imagerecognize/3.jpg"]

for modelImage in modelImages:

    # Now loading a template image and searching for similar keypoints
    template = cv2.imread(modelImage)
    templateg= cv2.cvtColor(template,cv2.COLOR_BGR2GRAY)
    keys = surf.detect(templateg)

    keys,desc = surfDescriptorExtractor.compute(templateg, keys)

    for h,des in enumerate(desc):
        des = np.array(des,np.float32).reshape((1,128))

        retval, results, neigh_resp, dists = knn.find_nearest(des,1)
        res,dist =  int(results[0][0]),dists[0][0]


        if dist<0.1: # draw matched keypoints in red color
            color = (0,0,255)

        else:  # draw unmatched in blue color
            #print dist
            color = (255,0,0)

        #Draw matched key points on original image
        x,y = kp[res].pt
        center = (int(x),int(y))
        cv2.circle(img,center,2,color,-1)

        #Draw matched key points on template image
        x,y = keys[h].pt
        center = (int(x),int(y))
        cv2.circle(template,center,2,color,-1)



    cv2.imshow('img',img)
    cv2.imshow('tm',template)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

我的问题是,我如何比较图像与图像列表,只获得类似的图像?有什么方法吗?

我建议你看看图像之间的地球移动器的距离(EMD)。
这个度量给出了将标准化灰度图像转换成另一个图像有多难的感觉,但是可以将其概括为彩色图像。这种方法的非常好的分析可以在下面的文章中找到:

robotics.stanford.edu/~rubner/papers/rubnerIjcv00.pdf

它可以在整个图像和直方图(这真的比整个图像方法更快)。我不知道哪个方法允许一个完整的图像比较,但对于直方图比较,你可以使用cv.CalcEMD2函数。

唯一的问题是,这种方法没有定义相似性的百分比,而是一个你可以过滤的距离。

我知道这不是一个完整的工作算法,但仍然是它的基础,所以我希望它有所帮助。

编辑:

这里是一个欺骗EMD如何工作原则。主要思想是有两个归一化矩阵(两个灰度图像除以它们的和),并定义一个通量矩阵,描述如何从第一个图像将灰色从一个像素移动到另一个像素,以获得第二个(它可以定义为对于非规范化,但更困难)。

在数学术语中,流矩阵实际上是四维张量,其给出从旧图像的点(i,j)到新图像的点(k,l)的流,但是如果平整图像,则可以将其变换到正常矩阵,只是有点更难读。

这个流矩阵有三个约束:每个项应该是正的,每行的和应该返回相同的值的表示像素,每列的和应该返回起始像素的值。

给定这个,你必须最小化变换的成本,由(i,j)到(k,l)的每个流的乘积之和对于(i,j)和(k,l)之间的距离给出。

它看起来有点复杂的话,所以这里是测试代码。逻辑是正确的,我不知道为什么scipy解决者抱怨它(你应该看看也许openOpt或类似的东西):

#original data, two 2x2 images, normalized
x = rand(2,2)
x/=sum(x)
y = rand(2,2)
y/=sum(y)

#initial guess of the flux matrix
# just the product of the image x as row for the image y as column
#This is a working flux, but is not an optimal one
F = (y.flatten()*x.flatten().reshape((y.size,-1))).flatten()

#distance matrix, based on euclidean distance
row_x,col_x = meshgrid(range(x.shape[0]),range(x.shape[1]))
row_y,col_y = meshgrid(range(y.shape[0]),range(y.shape[1]))
rows = ((row_x.flatten().reshape((row_x.size,-1)) - row_y.flatten().reshape((-1,row_x.size)))**2)
cols = ((col_x.flatten().reshape((row_x.size,-1)) - col_y.flatten().reshape((-1,row_x.size)))**2)
D = np.sqrt(rows+cols)

D = D.flatten()
x = x.flatten()
y = y.flatten()
#COST=sum(F*D)

#cost function
fun = lambda F: sum(F*D)
jac = lambda F: D
#array of constraint
#the constraint of sum one is implicit given the later constraints
cons  = []
#each row and columns should sum to the value of the start and destination array
cons += [ {'type': 'eq', 'fun': lambda F:  sum(F.reshape((x.size,y.size))[i,:])-x[i]}     for i in range(x.size) ]
cons += [ {'type': 'eq', 'fun': lambda F:  sum(F.reshape((x.size,y.size))[:,i])-y[i]} for i in range(y.size) ]
#the values of F should be positive
bnds = (0, None)*F.size

from scipy.optimize import minimize
res = minimize(fun=fun, x0=F, method='SLSQP', jac=jac, bounds=bnds, constraints=cons)

变量res包含最小化的结果…但是正如我所说的,我不知道为什么它抱怨一个奇异的矩阵。

这个算法的唯一问题是不是很快,所以不可能按需要做,但你必须在创建数据集时耐心地执行它,并将结果存储在某处

http://stackoverflow.com/questions/13379909/compare-similarity-of-images-using-opencv-with-python

本站文章除注明转载外,均为本站原创或编译
转载请明显位置注明出处:使用OpenCV与Python比较图像的相似性