[发明专利]基于深度神经网络内容感知的图像配准方法及系统

权利要求书

1.一种基于深度神经网络内容感知的图像配准方法，其特征在于，包括以下步骤：

步骤S1、预处理输入的目标图像和源图像，获取与目标图像和源图像的灰度图像；

步骤S2、输入获取的两幅灰度图像经多尺度结构处理，获取多尺度特征图；

步骤S3、输入每个尺度的两幅特征图至上下文相关性计算模块，运算获取两者之间的特征对应关系；

步骤S4、输入每个尺度的两幅特征图之间的特征对应关系至矩阵预测网络，获取粗配准的全局单应性矩阵；

步骤S5、根据粗配准的全局单应性矩阵变换目标图像的特征图，将其与源图像特征图输入至内容感知模块，获取精配准的全局单应性矩阵；

步骤S6、根据精配准的全局单应性矩阵，控制执行源图像配准目标图像。

2.如权利要求1所述的基于深度神经网络内容感知的图像配准方法，其特征在于，步骤S1，具体包括以下步骤：

步骤S10、以目标图像I_a和源图像I_b为输入，两图像经归一化预处理后转为像素取值范围为[-1,1]的灰度图像。

3.如权利要求1所述的基于深度神经网络内容感知的图像配准方法，其特征在于，所述步骤S2，具体包括以下步骤：

步骤S20、将两幅灰度图像输入到多尺度结构中，经三个下采样网络层处理，获取多尺度特征图。

4.如权利要求1所述的基于深度神经网络内容感知的图像配准方法，其特征在于，所述步骤S3，具体包括以下步骤：

步骤S30、输入每个尺度的两幅特征图至上下文相关性计算模块，计算源图像的特征图每个空间位置上的特征向量和目标图像每个空间位置上的特征向量两者周围固定窗口大小内包含的特征向量的相关性，获取两者之间的特征对应关系。

5.如权利要求1所述的基于深度神经网络内容感知的图像配准方法，其特征在于，所述步骤S4，具体包括以下步骤：

步骤S41、输入每个尺度的两幅特征图之间的特征对应关系至矩阵预测网络主干网的网络结构中，预测获取特征向量；

步骤S42、输入特征向量至solveDLT模块，计算该尺度下预测出的全局单应性矩阵。

6.如权利要求5所述的基于深度神经网络内容感知的图像配准方法，其特征在于，所述步骤S42，具体包括以下步骤：

步骤S421、预测获取多尺度结构最高尺度的初步偏移ofs₁；

步骤S422、根据获取的初步偏移ofs₁，solveDLT模块输出最高尺度预测的单应性矩阵；

步骤S423、上一尺度预测的矩阵对下一尺度的目标图像特征图进行变换，变换后的目标图像特征图和源图像特征图输入下一尺度的上下文相关性模块，获取多尺度另外两层的残差项ofs₂和ofs₃；

步骤S424、根据获取的ofs₁、ofs₂、ofs₃，获取粗配准的全局单应矩阵。

7.如权利要求1所述的基于深度神经网络内容感知的图像配准方法，其特征在于，所述步骤S5，包括以下步骤：

步骤S51、根据粗配准的全局单应性矩阵变换特征图后，作为先验对原尺度上的源图像进行透视变换，获取透视变换后的特征图；

步骤S52、将透视变换后的特征图经特征提取模块和掩码预测模块处理，获取处理后的两幅特征图；

步骤S53、将处理后的两幅特征图在通道维上叠加，获取特征图叠加结果；

步骤S54、输入特征图叠加结果至矩阵预测网络，输出精配准的全局单应性矩阵。

8.如权利要求6所述的基于深度神经网络内容感知的图像配准方法，其特征在于，所述步骤S52，具体包括以下步骤：

步骤S521、输入透视变换后的两幅特征图至内容适应性模型，经特征图提取和掩码预测，获取特征图提取结果和掩码预测结果；

步骤S522、根据获取的特征图提取结果和掩码预测结果，获取两者的乘积。