[发明专利]一种基于3D注意力机制全通道融合网络的光谱重建方法

权利要求书

1.一种基于3D注意力机制全通道融合网络的光谱重建方法，其特征在于，按照以下步骤具体实施：

步骤1、构建浅层特征提取模块，

该浅层特征提取模块的输入为原始RGB图像，大小为512*482*3，该浅层特征提取模块的输出是大小为256*256*64的特征图像I1；

步骤2、构建高光谱特征生成模块，

该高光谱特征生成模块的输入是步骤1得到的特征图像I1，大小为256*256*64；该高光谱特征生成模块的输出是加权融合不同特征信息的特征图像I2，大小也为256*256*64；

步骤3、构建重建模块，

该重建模块的输入数据是步骤2输出的特征图像I2，大小为256*256*64；该重建模块的输出是光谱重建后的高光谱图像I6，大小为256*256*31；重建模块的主要作用就是将高光谱特征生成模块提取到的特征图像I2恢复至与原始RGB图像对应的更高光谱分辨率的图像I6；

步骤4、优化光谱重建网络，即成。

2.根据权利要求1所述的基于3D注意力机制全通道融合网络的光谱重建方法，其特征在于，所述的步骤1中，所述的浅层特征提取模块是对输入的原始RGB图像进行块裁剪，然后对每个裁剪块进行归一化处理，再通过卷积进行浅层特征信息的提取，得到特征图像I1；

浅层特征提取模块的结构依次为：原始RGB图像作为输入图像→Patch crop层→LN正则化层→Conv3*3层→输出的特征图像I1；其中，Patch crop层将原始RGB图像由512*482*3随机裁剪成256*256*3的裁剪块去进行数据增广，以便增强光谱重建网络的稳定性；LN正则化层是对输入数据进行归一化处理，将其归到0到1之间，提高光谱重建网络收敛的速度；Con3*3层为卷积运算，卷积核大小为3*3，卷积步长为1，填充值为0，特征映射数为64。

3.根据权利要求1所述的基于3D注意力机制全通道融合网络的光谱重建方法，其特征在于，所述的步骤2中，所述的高光谱特征生成模块利用步骤1输出的特征图像I1以及3个双残差通道-空间注意机制块进行加权融合不同特征信息，使用的权重参数分别是λ₁、λ₂、λ₃、λ₄；

双残差通道-空间注意机制块主要由双残差结构和3D通道-空间注意机制模块组成，

第一个双残差通道-空间注意机制块的结构依次为：步骤1得到的特征图像I1作为输入特征→Conv1 3*3层→PReLu层→Conv2 3*3层→残差结构层→PReLu层→Conv3 3*3层→3D-CSAB层→残差结构层→输出为特征图像I3；其中，每个Conv3*3层均为卷积运算，卷积核大小为3*3，卷积步长为1，填充值为0，特征映射数为64，其中将Conv3 3*3层的输出特征图像称为I4；两个PReLu作为激活函数，以便引入更多的非线性并加速收敛；两个残差结构层主要是进行残差连接；3D-CSAB层是利用3D卷积层通过捕获联合通道和空间特征来生成注意力图，然后计算3D卷积前的输入特征与生成注意力图的乘积得到新的特征图像I5；

3D-CSAB层的结构依次为：第一个双残差通道-空间注意机制块中Conv3 3*3层输出的特征图像I4作为输入→3D Conv层→Sigmoid层→通道-空间注意力图层→输出为特征图像I5；其中，3D Conv层为卷积运算，卷积核大小为3*3*3，卷积步长为1，填充值为1，特征映射数为64；Sigmoid层生成channel-spatial间0到1的注意权重图；通道-空间注意力图层的作用是编码需要关注或抑制的位置，越需要关注的位置越接近1，越需要抑制的位置越接近0；然后通过逐像素相乘的方式将通道-空间注意力图乘以输入的特征图像I4得到新输出的特征图像I5，特征图像I5的大小为256*256*64；

上述的3D-CSAB层的输入特征图像I4以及输出特征图像I5是形成特征图像I3的过渡特征图像；

将第一个双残差通道-空间注意机制块的输出特征图像I3作为第二个双残差通道-空间注意机制块的输入，并将第二个双残差通道-空间注意机制块的输出作为第三个双残差通道-空间注意机制块的输入，通过堆叠三个结构一样的双残差通道-空间注意机制块去不断增强光谱重建网络对特征的学习能力，同时通过加权融合特征图像I1以及3个双残差通道-空间注意机制块去生成特征图像I2。