[发明专利]基于生成对抗网络的高光谱图像超分辨重建方法

权利要求书

1.基于生成对抗网络的高光谱图像超分辨重建方法，其特征在于，在生成器网络中构造光谱和空间残差块，分别用来从高光谱图像丰富冗余的信息中提取光谱特征和空间特征，同时生成器网络和判别器网络交替训练，像素损失和对抗损失共同指导生成器网络重建出高分辨率图像；

包括以下步骤：

第一步、对高光谱图像划分训练集和验证集；

划分训练集的具体方法是：

将原始高光谱图像作为高分辨率图像记为I^HR，其大小为H×W×D，对I^HR进行空间下采样得到模拟的低分辨率图像，记为I^LR，其大小为h×w×D；

在I^LR上选取t×t×D大小的子区域用于验证网络的性能，其余像素用于训练，其余像素为在I^LR上除去t×t×D大小的子区域以外的区域；

使用z×z×D大小的子区域在用于训练的区域上以步长q滑动产生一系列适合输入到网络的大小为z×z×D的低分辨率子图像块，其组成的集合为X_train，其中第i块低分辨率子图像块记为x_i，同时在I^HR对应的区域上通过滑窗得到由cz×cz×D大小的高分辨率子图像块所组成的标签集合Y_train，其中第i块高分辨率子图像块记为y_i，将X_train和Y_train组成训练集；

其中，H、W和D分别表示图像I^HR的高、宽和波段数，h、w分别表示图像I^LR的高、宽，且H＝c×h，W＝c×w，c是采样因子，z＜t＜1/2min(w,h)，z为2的倍数，64≤z≤128，6≤q≤12；

第二步、构建生成对抗网络，所述生成对抗网络结构包括：

一生成器网络，包括光谱残差块和空间残差块，分别用来从高光谱图像中提取光谱特征和空间特征；

一判别器网络；

其中，所述光谱残差块和所述空间残差块均包括两层卷积层，且两层卷积层中间采用参数修正线性单元层作为激活函数，同时残差块的输入输出之间添加跳跃连接；

构建判别器网络结构的方法为：

将SRGAN结构的二维卷积替换为三维卷积，同时去掉最后一层sigmoid函数转换层，SRGAN为超分辨率生成对抗网络；

判别器网络的损失函数定义为：

其中，代表采样的原始高分辨率子图像块集，m是批处理尺寸，大小可以根据硬件资源进行调整，代表生成器网络超分辨重建结果，表示输入到生成器网络G的一批低分辨率子图像块集，E_Y[·]和表示取平均，C(Y)和是判别器网络的输出，sigmoid(·)表示sigmoid函数；

第三步、将训练集输入所述生成对抗网络中，并利用像素损失和对抗损失联合训练；

其中，像素损失定义为：

对抗损失定义为：

生成器总的损失为：

第四步、将验证集通过训练好的所述生成对抗网络中的生成器网络，得到最终的超分辨重建结果。

2.如权利要求1所述的基于生成对抗网络的高光谱图像超分辨重建方法，其特征在于，所述第一步中，划分验证集的具体方法是：

使用z×z×D大小的子区域在用于验证的t×t×D子区域上以步长q滑动产生一系列适合输入到网络的大小为z×z×D的低分辨率子图像块，其组成的集合为X_test，同时其对应的I^HR区域上通过滑窗得到由cz×cz×D大小的高分辨率子图像块所组成的标签集合Y_test，将X_test和Y_test组成验证集。