[发明专利]一种基于自注意力机制的图像融合方法及系统

说明书

本发明公开了一种基于自注意力机制的图像融合方法及系统，所述方法包括：获取全局场景图像和多个局部细节图像，并确定局部细节图像在所述全局场景图像中的位置关系，根据所述位置关系将所述全局场景图中与多个局部细节图像相同位置的部分切割出来得到多个切割图像；构建并训练基于自注意力机制的图像融合模型，对所述局部细节图像和处理后的切割图像进行图像融合，得到融合的高分辨局部图像；将得到的所述高分辨局部图像与所述全局场景图像进行拼接得到大场景高分辨全景图像。通过采用用于处理多尺度大场景数据的，基于Transformer框架的图像融合算法，基于非结构化多尺度的采集设备，最终生成全景的亿级像素大场景图像。

技术领域

本发明涉及深度学习技术领域，具体涉及一种基于自注意力机制的图像融合方法及系统。

背景技术

根据技术调研，由于相机镜头以及传感器等硬件的限制，基于单个相机难以获取全景的高分辨率的大场景图像。现有的大场景的重建，大多利用多尺度的相机，通过图像融合的方式，进行大场景高分辨率重建，从而实现对大场景的动态感知。目前图像融合的方式主要有两种方式：传统计算成像方法和基于深度学习的图像融合算法。传统的计算成像方式利用单应矩阵结合特征匹配方式进行融合，然而传统算法需要提前标定很多参数，而且无法实现自适应的图像融合，严重限制的融合算法在大场景重建中的应用；基于深度学习的图像融合算法，通过卷积神经网络(CNN)提取高维度特征，进行图像的融合，然而由于卷积神经网络受感受野的限制，很难提取远距离的依赖，因此在大场景重建应用过程中存在明显的不足。

发明内容

为此，本发明提供一种基于自注意力机制的图像融合方法及系统，以解决现有图像融合方法存在的无法实现自适应的图像融合，受感受野限制，大场景重建存在不足等的问题。

为了实现上述目的，本发明提供如下技术方案：

根据本发明实施例的第一方面，提出了一种基于自注意力机制的图像融合方法，所述方法包括：

获取全局场景图像和多个局部细节图像，并确定局部细节图像在所述全局场景图像中的位置关系，根据所述位置关系将所述全局场景图中与多个局部细节图像相同位置的部分切割出来得到多个切割图像；

对所述切割图像进行处理使其与局部细节图像具有相同的尺度；

构建并训练基于自注意力机制的图像融合模型，通过所述图像融合模型对所述局部细节图像和处理后的切割图像进行图像融合，得到融合的高分辨局部图像；

将得到的所述高分辨局部图像与所述全局场景图像进行拼接得到大场景高分辨全景图像。

进一步地，获取全局场景图像和多个局部细节图像，具体包括：

通过全局相机获取全局场景图像，通过多个局部相机分别获取多个局部细节图像，所述全局相机的水平视场角为50°～60°，所述局部相机的水平视场角10°～15°。

进一步地，确定局部细节图像在所述全局场景图像中的位置关系，具体包括：

根据局部相机和全局相机的位姿关系，初步判断局部相机图像在全局相机图像中的大概位置，并通过特征匹配算法来进行适当的调整，从而得到准确的相对位置。

进一步地，对所述切割图像进行处理使其与局部细节图像具有相同的尺度，具体包括：

对所述切割图像进行超分辨以及尺度变化使切割图像与局部细节图像的分辨率相同。

进一步地，所述图像融合模型包括编码模块和解码模块，所述编码模块用于通过转移窗口注意力机制模块Swin-Transfomer Block和块融合模块Patch Merge实现对分割图像和局部细节图像不同尺度特征的提取，并通过对分割图像和局部细节图像的特征图中相应位置取最大值的方式进行融合，最后逐级的连接到解码模块中，最终生成符合条件的高分辨率图像。