[发明专利]一种基于3D注意力机制全通道融合网络的光谱重建方法

说明书

本发明公开了一种基于3D注意力机制全通道融合网络的光谱重建方法，步骤包括：步骤1、构建浅层特征提取模块，输入为原始RGB图像，输出是特征图像I1；步骤2、构建高光谱特征生成模块，输入是步骤1得到的特征图像I1；输出是特征图像I2；步骤3、构建重建模块，输入是特征图像I2；输出是光谱重建后的高光谱图像I6；重建模块的主要作用就是将高光谱特征生成模块提取到的特征图像I2恢复至与原始RGB图像对应的更高光谱分辨率的图像I6；步骤4、优化光谱重建网络，即成。本发明的方法，能够有效的实现从RGB图像到高光谱图像端到端的映射，自适应地学习通道间和通道内的特征响应，从而增强网络的特征表达能力。

技术领域

本发明属于高光谱图像处理技术领域，涉及一种基于3D注意力机制全通道融合网络的光谱重建方法。

背景技术

高光谱图像是一个三维的数据立方体，与传统的RGB图像不同，高光谱图像包含了数百个或数千个连续光谱的空间特征和光谱特征，这些丰富的光谱细节特征可应用于许多计算机视觉领域中，例如人脸识别、医学图像处理、目标跟踪、异常检测等。但是，基于扫描的高光谱采集系统在捕获数据时往往需要大量的曝光时间，这种通过牺牲时间分辨率去获得高光谱分辨率的成像方式严重地阻碍了高光谱图像的应用。为了解决这个问题，人们开发了基于压缩感知的快照高光谱成像设备，然而这些设备的系统在硬件实现和重构算法方面都非常复杂，并且十分昂贵。由于扫描和快照高光谱成像系统的局限性，作为一种替代解决方案，从RGB图像进行光谱重建已经引起了广泛的关注和研究，即通过给定的RGB图像去恢复具有一致空间分辨率和更高光谱分辨率的高光谱图像，也称作光谱超分辨率或光谱重建。

现有的光谱重建方法大致可以分为两类，基于传统的方法以及基于深度学习的方法。基于传统的方法是通过稀疏恢复、低秩张量恢复以及一些浅层映射模型来学习RGB图像到高光谱图像的三对多的映射关系。但是这类方法往往需要依赖于高光谱数据的各种先验信息，并且其算法的泛化能力很差。近年来，随着深度学习的快速发展，基于卷积神经网络(CNN)的光谱重建方法得到了广泛使用。尽管，基于CNN的方法一定程度上弥补了传统方法的不足，显著地提高了光谱重建的精度，但是也仍然存在一些缺陷。一方面，现有的大多数基于CNN的光谱重建模型平等地对待所有输入特征信息，忽略了不同的特征信息具有不同的光谱分辨率，它们对特征融合的贡献是不平等的，因此限制了CNN的表达能力。另一方面，基于CNN的光谱重建模型采用的空间注意机制主要关注特征的尺度信息，对通道维度信息的关注很少，而采用的通道注意机制却忽略了尺度信息，不能够同时关注通道-空间信息，因此在一定程度上限制了光谱重建算法的重建性能。

发明内容

本发明的目的是提供一种基于3D注意力机制全通道融合网络的光谱重建方法，解决了现有技术中的光谱重建算法中的不同特征信息的融合对图像重建贡献一样、以及不能同时关注通道-空间信息的问题。

本发明采用的技术方案是，一种基于3D注意力机制全通道融合网络的光谱重建方法，按照以下步骤具体实施：

步骤1、构建浅层特征提取模块，

该浅层特征提取模块的输入为原始RGB图像，大小为512*482*3，该浅层特征提取模块的输出是大小为256*256*64的特征图像I1；

步骤2、构建高光谱特征生成模块，

该高光谱特征生成模块的输入是步骤1得到的特征图像I1，大小为256*256*64；该高光谱特征生成模块的输出是加权融合不同特征信息的特征图像I2，大小也为256*256*64；

步骤3、构建重建模块，

该重建模块的输入数据是步骤2输出的特征图像I2，大小为256*256*64；该重建模块的输出是光谱重建后的高光谱图像I6，大小为256*256*31；重建模块的主要作用就是将高光谱特征生成模块提取到的特征图像I2恢复至与原始RGB图像对应的更高光谱分辨率的图像I6；

步骤4、优化光谱重建网络，即成。