[发明专利]一种基于深度特征的影像匹配方法及装置

说明书

本发明涉及一种基于深度特征的影像匹配方法及装置，属于深度学习和图像处理技术领域。本发明采用的预训练的卷积神经网络来构建基准影像深度特征数据库，使得在训练样本不足时，能够利用预训练卷积神经网络对图像深度特征进行有效提取，从而提高基准影像深度特征数据库中特征的有效性，以此提高图像匹配的鲁棒性。

技术领域

本发明涉及一种基于深度特征的影像匹配方法及装置，属于深度学习和图像处理技术领域。

背景技术

卫星导航受限环境下，快速准确的图像检索匹配功能对于无人机执行情报搜集、监视和侦察等任务的作用尤为重要。基于场景环境中固有不变的路标特征实现目标对象的查询匹配，旨在寻找无人机获取的序列影像与先验参考图像一致的尺度不变路标特征。

传统上，将路标识别匹配问题看作图像检索任务，使用具有局部不变性的特征来表示每一幅图像，然后将特征聚合成一个向量进行表示，通过查询地理特征数据库获得视觉上最相似的图像来估计查询图像的位置，常用方法有BOW(Bag of Words)、VLAD(Vectorof Locally Aggregated Descriptors)、FV(Fisher Vector)等。近几年，卷积神经网络(CNN)的出现为多种类型的识别任务提供了更强性能的图像表示，目前主流提取图像深度特征的方法是利用深度卷积神经网络，通过深度卷积神经网络提取出来的深度特征与传统视觉特征相比，最大的区别在于图像深度特征是从大规模数据中自动学习出来的，而不是被手工设计出来的。由于卷积神经网络的特性，不同网络的输出具有不同抽象程度的图像视觉表征能力，一般来说，越接近输入层的信号其通用性越强，而越接近输出层的信号则更容易被特定的训练数据所拟合，相比全连接层特征，卷积层特征具有更强的辨别能力和细节描述能力。Arandjelovic等受VLAD特征启发，提出一种卷积神经网络模型，将传统的VLAD结构嵌入到CNN网络中，得到一个新的VLAD层，实现了端到端的路标识别；Sarlin等提出一种基于CNN结构并结合注意力得分由粗到精的关键点选择机制，该方法适合大尺度图像特征描述符索引，并证明了这种描述符优于多数的全局和局部描述符。以上研究从不同方面提高了路标识别的准确率和匹配效率，但基于无人机识别自然场景路标进行序列图像和基准图像匹配仍面临的较多挑战：(1)在图像采集阶段不同的分辨率、角度、尺度、传感器和光照条件将导致特征混淆和物体遮挡等问题；(2)相机内部参数的差异会引起图像对之间的不同；(3)不同时间段采集的图像可能由于物体出现或者消失导致图像之间的匹配变得更加困难。目前，尽管基于深度卷积特征的图像匹配方法在性能上得到了很大的提升，由于深度特征是一种基于数据驱动学习的特征表征，要得到一个特征表征能力强的卷积神经网络模型往往需要大量的训练样本，当训练样本不足时，无法有效提取图像的深度特征，基于深度特征的影像匹配鲁棒性低。

发明内容

本发明的目的是提供一种基于深度特征的影像匹配方法及装置，以解决目前的影像匹配过程中鲁棒性低的问题。

本发明为解决上述技术问题而提供一种基于深度特征的影像匹配方法，该匹配方法包括以下步骤：

1)将待匹配的影像通过深度学习算法进行深度特征提取；

2)将提取出的深度特征与基准影像深度特征数据库中特征进行相似性计算，根据得到的相似性从基准影像深度特征数据库中找到相应的特征描述符，以实现对影像的匹配；

所述基准影像深度特征数据库的构建过程为：将训练图像输入到预训练的卷积神经网络中进行训练，利用训练好的卷积神经网络对基准影像的特征进行提取，将提取的特征存入一个数据库，形成基准影像深度特征数据库。

本发明还提供了一种基于深度特征的影像匹配装置，该装置包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实本发明的基于深度特征的影像匹配方法。