[发明专利]基于深度神经网络内容感知的图像配准方法及系统

说明书

本发明公开的基于深度神经网络内容感知的图像配准方法及系统，方法包括：预处理输入的目标图像和源图像，获取灰度图像；输入两幅灰度图像经多尺度结构处理，获取多尺度特征图；输入每个尺度的两幅特征图至上下文相关性计算模块，运算获取两者之间的特征对应关系；输入每个尺度的两幅特征图之间的特征对应关系至矩阵预测网络，获取粗配准的全局单应性矩阵；根据粗配准的全局单应性矩阵变换特征图后输入至内容感知模块，获取精配准的全局单应性矩阵；根据精配准全局单应性矩阵，控制源图像配准目标图像。本申请提供的基于深度神经网络内容感知的图像配准方法，通过增加网络的多尺度结构和上下文相关性计算模块，有效提升预测矩阵配准的准确度。

技术领域

本发明涉及图像拼接技术领域，具体是涉及一种基于深度神经网络内容感知的图像配准方法及系统。

背景技术

图像拼接技术是为了克服现有相机设备硬件上的局限性而被提出的以将多幅有重叠区域的子图像合成为更高分辨率的全景图像为目的的图像处理算法，其中图像的类型不局限于光学图像和红外图像。图像拼接除了应用在针对多幅图像的合成，还可以拓展到对视频流的拼接：多个相机不同角度下拍摄的视频流通过拼接形成大画幅下的视频，使得人们可以更加完整地实时监测区域内场景变换情况。图像拼接作为一项偏实用性的技术，在摄影测量学、计算机视觉和遥感图像分析等研究领域具有重要的辅助参考价值；而在实际项目需求中，图像拼接更是广泛应用于地理环境监测、医学图像处理、军事地形侦察、汽车交通路况监测和物体3D重建等方面，具有较高的研究价值和广阔的应用前景。

图像拼接一整套流程里最主要的一个阶段叫做图像配准，配准是基于两幅图像之间重叠区域进行考虑的，图像拼接最终效果的好坏也主要评估重叠区域对齐后的视觉效果。现有比较常用的配准方法可以划分为传统特征匹配方案和深度学习方案。传统的配准方法主要采用特征点检测、初步匹配和RANSAC(随机抽样一致性)算法筛选出可靠的匹配点对。这种方法通常特别依赖特征点的质量和配准的准确度，也就导致基于特征点的方法不适用于复杂、极限的图像场景(少纹理，弱光照和包含运动的目标)。深度学习的方法又分为间接用网络提取特征的方法和直接用网络预测单应性矩阵的方法。直接利用深度学习进行矩阵估计的方法在解决多类场景时更加具有鲁棒性，但由于缺少一定规模的拼接数据集，以往基于深度学习的矩阵预测网络要么是用合成数据集进行监督学习，要么是对两幅重叠率很高的真实图像进行预测。前者没有考虑真实场景的深度差异，只适用于构成比较简单的近似于同一平面的场景。后者的重叠率几乎达到80％～90％，只适合小基线的拼接任务，难以应用到实际的项目中。因此亟需一种算法能更适应真实数据并且能在重叠率较低的情形下达成更高的配准精度。

发明内容

本发明的目的是为了克服上述背景技术的不足，提供一种基于深度神经网络内容感知的图像配准方法及系统。

第一方面，本申请提供了一种基于深度神经网络内容感知的图像配准方法，包括以下步骤：

步骤S1、预处理输入的目标图像和源图像，获取与目标图像和源图像的灰度图像；

步骤S2、输入获取的两幅灰度图像经多尺度结构处理，获取多尺度特征图；

步骤S3、输入每个尺度的两幅特征图至上下文相关性计算模块，运算获取两者之间的特征对应关系；

步骤S4、输入每个尺度的两幅特征图之间的特征对应关系至矩阵预测网络，获取粗配准的全局单应性矩阵

步骤S5、根据粗配准的全局单应性矩阵变换目标图像的特征图，将其与源图像特征图输入至内容感知模块，获取精配准的全局单应性矩阵；

步骤S6、根据精配准的全局单应性矩阵，控制执行源图像配准目标图像

根据第一方面，在第一方面的第一种可能的实现方式中，步骤S1，具体包括以下步骤：