[发明专利]基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法

说明书

本发明公开了一种基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法，将多光谱图像中拥有的高光谱分辨率与全色图像中拥有的高空间分辨率相融合，以获得高空间分辨率高光谱分辨率的多光谱图像。利用深度学习中U‑Net网络结构框架，设计了3D多尺度注意力深度卷积网络模型(MSAC‑Net)。为了保留多光谱中的光谱分辨率，模型整体使用3D卷积，对光谱维度上的信息进行特征提取；为了捕捉更多的空间细节，在模型的跳跃连接处引入了注意力机制，来学习区域细节。在模型的解码阶段，引入多个包含多尺度空间信息的重建层来计算重建结果，鼓励了模型学习不同层次的多尺度表示，为最终的融合结果提供多层次的参考。有效的提高了最终图像的融合结果。

技术领域

本发明属于信息技术领域，涉及图像处理技术，具体是一种基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法。

背景技术

遥感卫星在拍摄获取多光谱(MS)图像的同时，可获取同场景的全色(PAN)图像，其中，多光谱图像富含光谱信息，但空间分辨率低，清晰度差，而全色图像的空间分辨率高，但光谱分辨率低；两者的空间和光谱分辨率彼此矛盾。将两者的优点相融合，获得一个高空间、光谱分辨率的多光谱图像，目前也是一个极大的需求。

目前，深度学习已经倍广泛应用于各个研究领域，给各个领域提供了一种新的解决办法。其中，在深度学习领域内，3D卷积已经被证明是探索体积数据的一种非常有效的方法。与2D卷积运算相比，3D卷积不仅做到了在空间维度上的特征保留，同时还考虑到了光谱维度上的特征提取。这种运算方法更加符合光谱图像的成像原理，因此3D卷积的出现也是解决传统2D卷积问题中的一个新途径。但由于使用3D卷积所需数据的有所限制，因此在目前的多光谱全色锐化方面，并没有对其进行广泛应用。

为了充分利用单个波段中各个像素间的内在联系，传统做法通常采用不同尺度的观测结果进行共同融合，以达到最终的融合图像同时拥有不同尺度下的图像特征。但该做法的不足之处在于，由于多光谱图像立方体结构的特殊性质，使用尺度信息虽然会使得图像的空间细节特征得到增强，但有可能存在在光谱维度上的信息丢失，甚至可能导致光谱扭曲。

此外，由于受到人类感知系统的启发，注意力机制(Attention mechanism)近些年被提出。由于其特有的可以将计算资源分配给部分关注区域信息的计算的特点，因此被广泛应用于图像处理领域。但不足的是，目前所提出的许多注意力机制并不能直接应用到多光谱全色锐化中，并且使用不恰当的注意力机制还会使得最终的结果产生模糊或者信息扭曲，导致空间维度和光谱维度上的信息丢失，从而使得图像的几何特征表示不完全。

发明内容

为了充分利用多光谱图像各个像素间及各个波段间的相关性，以及全色图像的高空间分辨率的特点，来降低图像处理的工作量和提高图像融合的准确度，本发明的目的在于，提供一种基于深度学习的3D多尺度注意力深度卷积网络的遥感图像融合方法(MSAC-Net)，采用3D卷积的方法，通过深度学习模型在保留多光谱图像光谱细节的同时，使用注意力机制从全色图像中提取空间细节，并将最终结果与多个中间尺度结果进行学习，以获得所需的高分辨率多光谱图像，来解决现有技术中遥感图像融合不全面、融合质量和融合效果差的问题。

为了实现上述任务，本发明采用如下技术方案予以实现：

一种基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法，其特征在于，包括以下步骤：

步骤一：获取一对同一场景相同角度的全色图像和多光谱图像作为测试数据集中的一个样本；获取多个场景的多对全色图像和多光谱图像，以得到训练数据集；

对于测试数据集中的样本，对样本中多光谱图像进行上采样处理，以达到与全色图像相同的尺寸；然后将全色图像进行级联复制，以获得与多光谱图像波段数相同的全色图像立方体；