[发明专利]基于递归神经网络的图像匹配方法及系统

说明书

本发明公开了一种基于递归神经网络的图像匹配方法，包括：特征提取步骤：采用卷积神经网络对待匹配的两张图片分别进行特征提取；相似性度量步骤：采用递归神经网络以循环的方式依次处理得到的两张图片的特征，随着所述递归神经网络对两张图片的特征处理次数的增加，对两张图片匹配程度的预测越来越准确。本发明还涉及一种基于递归神经网络的图像匹配系统。本发明通过多次对两个特征的循环度量来得到最终的相似程度，图像匹配的精准度更加精确、误差更小，匹配效果更好。

技术领域

本发明涉及一种图像处理技术领域的图像匹配方法及系统，特别是涉及一种基于递归神经网络的图像匹配方法及系统。

背景技术

在我们生活中的很多场景中，需要得到两张图片的相似程度。例如，图像检索就是给定一张查询图片，在一个图片库中查找与这一图片相近的图片，并按照相似程度将这些图片进行排序。与查询图片越相近的图片排序越靠前。这一过程中，最重要的就是得到两张图片之间的相似程度。又例如，随着社会对公共安全的重视和监控设备的普及，视频监控得到了越来越广泛的应用，而在实际的办案过程中，经常需要在大量监控视频中找到与某一个嫌疑人相关性较高的视频内容，因此这一过程也需要对两张图片的相似程度做一个判断。

给定两张图片，对这两张图片的相似性程度，即匹配程度进行打分，这一过程就称为图像匹配。现有的研究思路基本是基于以下的思想：针对两张图片分别提取其特征，接着计算这两个特征的距离作为两张图片的距离。距离越小代表两张图片的相似程度越高。即在特征提取的阶段，模型提取出单张图片的信息，在最后的相似性度量阶段将两张图片的特征信息进行融合，得到两张图片的相似程度。在相似性度量阶段，经常采用的方法包括计算两张图片特征的欧式距离，以及利用神经网络中的全连接层将两张图片的特征融合得到相似性分数。然而以上的度量方法仅是对两张图片相似性的“一次性”度量(如图1A)，即对两张图片的特征仅进行一次相似性度量。

而人类对图片的匹配过程却不是一个“一次性”的度量。人类的匹配过程是一个循环的过程。例如两张图片分别来自双胞胎的两个人，当一个人观察到这两张图片并需要判断这两张图片是否来自于同一个人时，人看一眼往往并不能够得出一个较为准确的判断。这种时候人会本能的以循环的方式观察两张图片，假设两张图片分别为A和B，则人会先观察A，再观察B，再不断重复上述过程。人的注意力会不断地在A和B两张图片之间进行切换，来比较两张图片等细节信息。随着观察次数的不断增加，人对自己的判断会越来越自信，而判断也会越来越准确，直到最后对这两张图片等匹配程度作出一个较为准确的判断。人的这样一种观察过程具有“循环性”，即循环观察两张图片直至得到准确判断。

传统方法或卷积神经网络的方法对两张图片进行特征提取，之后采用固定的距离度量方式或者学习的距离度量方式对两张图片的特征进行相似性度量。其中固定的距离度量方式例如欧式距离，而学习的度量方式如采用神经网络中的全连接层对两个特征的距离度量进行学习。现有技术不能够充分挖掘两张图片之间的匹配信息。

发明内容

针对现有技术的不足，本发明所要解决的技术问题是提供一种基于递归神经网络的图像匹配方法及系统，其通过多次对两个特征的循环度量来得到最终的相似程度，图像匹配的精准度更加精确、误差更小，匹配效果更好。

根据本发明的第一方面，提供一种基于递归神经网络的图像匹配方法，包括：

特征提取步骤：采用卷积神经网络对待匹配的两张图片分别进行特征提取；

相似性度量步骤：采用递归神经网络以循环的方式依次处理提取的所述两张图片的特征，随着所述递归神经网络对所述两张图片的特征处理次数的增加，对所述两张图片匹配程度的预测越来越准确。

优选地，所述递归神经网络由两个共享参数的子网络所构成，而所述子网络由两个循环的节点所组成。

更优选地，所述节点是标准的长短期记忆网络节点。更进一步的，利用具有有限次重复的长短期记忆网络结构来近似循环递归神经网络。