[发明专利]一种基于深度学习的特征点检测与描述子生成方法

说明书

一种基于深度学习的特征点检测与描述子生成方法，包括如下步骤：S100：构建新的卷积神经网络；S200：利用所述新的卷积神经网络预测输入图像的特征点并且生成描述子向量；其中，所述新的卷积神经网络结构由两部分组成，第一部分为编码器，用于输入图像的特征编码；第二部分为3个解码器，第一个解码器生成描述子特征图，第二个解码器生成特征点的独特性特征图，第三个解码器由不同层的神经网络特征拼接作为输入生成准确度特征图。本方法生成的特征点具有更高的定位精度和独特性，有助于提高特征点匹配的性能以及后续任务的精度。

技术领域

本公开属于图像处理技术领域，特别涉及一种基于深度学习的特征点检测与描述子生成方法。

背景技术

在图像处理中，特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。特征点通常包含点在图像上的位置信息，而描述子通常是一个向量，它描述了特征点周围像素点的信息。特征点检测与描述是计算机视觉领域最基础、最重要的研究领域之一，能够精确地提取并描述图像中的特征点是很多计算机视觉任务的前置任务，比如相机标定、位姿估计、立体匹配、同时定位与构图 (Simultaneous Localization andMapping，SLAM)、三维重建等。

特征点检测器的设计，需要考虑抗噪性、尺度不变性、视点不变性、光照不变性、快速检测和描述等几个。传统的特征点检测器设计复杂，一般只能兼顾以上某一个或者某几个方面，尤其对光照和尺度变化的鲁棒性较差，难以适应多变的实际场景。由于深度学习在当前计算机视觉任务中的优异表现，基于深度神经网络的方法逐渐成为该领域的研究热点。目前，具有代表性的深度学习通用模型有如下两种： 1)SuperPoint、R2D2等方法前端共享一个特征编码网络，后端分成两个分支解码网络，同时进行特征点的检测和描述子的生成。2) D2-Net和ASLFeat等方法使用单个网络进行图像特征的提取，特征向量直接作为描述子向量，而特征点的位置由特征向量预测得到。上述方法在实际应用中存在以下问题：首先，特征点的定位精度不足，通过可视化神经网络的各层后发现，经过多层卷积以后图像原本的细节特征丢失，边缘位置发生偏移，这就导致了特征点的定位精度降低；其次，特征点的独特性不足，也就是提取的特征点中存在大量描述子相似的点，而相似的点会给后续任务带来大量的误匹配，进而导致位姿估计的精度降低。

发明内容

鉴于此，本公开提供了一种基于深度学习的特征点检测与描述子生成方法，包括如下步骤：

S100：构建新的卷积神经网络；

S200：利用所述新的卷积神经网络预测输入图像的特征点并且生成描述子向量；

其中，所述新的卷积神经网络结构由两部分组成，第一部分为编码器，用于输入图像的特征编码；第二部分为3个解码器，第一个解码器生成描述子特征图，第二个解码器生成特征点的独特性特征图，第三个解码器由不同层的神经网络特征拼接作为输入生成准确度特征图。

通过上述技术方案，本方法利用神经网络预测输入图像的特征点并且生成描述子向量。与其他深度学习的方法相比，本方法生成的特征点具有更高的定位精度和独特性，有助于提高特征点匹配的性能以及后续任务的精度。

本方法带来的有益效果为：首先，针对特征点的定位精度不足的问题，本方法采用浅层与深层特征融和的操作，为特征点检测器中引入底层细节特征，并且利用图像的梯度作为损失函数，从而提高检测器的定位精度。其次，针对特征点的独特性不足的问题，设计了独特性损失函数，将假定的特征点与图像中所有的其他特征点的描述子进行比较，度量其独特性。最后，使用HPatches数据集和Aachen-Day and Night数据集，充分证实了本方法在图像匹配和视觉定位等具体任务中的优异表现。

附图说明

图1是本公开一个实施例中所提供的一种基于深度学习的特征点检测与描述子生成方法流程图；

图2是本公开一个实施例中基于深度学习的特征点检测与描述子生成方法的结构图；