[发明专利]基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质

权利要求书

1.一种基于智能空谱融合的高分辨率视频高光谱成像方法，其特征在于，包括：

1)分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样；

2)将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络，获得高分辨率的高光谱图像帧；其中，融合网络对输入的下采样后的高光谱图像帧、RGB图像帧进行处理以获得高分辨率的高光谱图像帧的步骤包括：2.1)分别将输入的下采样后的高光谱图像帧、RGB图像帧进行缩放，然后堆叠并提取特征数据；2.2)将堆叠后提取得到的特征数据进行重排，并引入位置编码与重排后的特征数据进行逐像素相加；2.3)将引入位置编码逐像素相加后得到的特征数据利用多个级联连接的残差块提取深度特征像素；2.4)将提取得到的深度特征像素进行重组，并再次引入位置编码与重组后的特征数据进行逐像素相加以增强像素之间的关联；2.5)将再次引入位置编码与逐像素相加后得到的深度特征数据和步骤1.2)中缩放后的高光谱图像帧相加，得到高分辨率的高光谱图像帧。

2.根据权利要求1所述的基于智能空谱融合的高分辨率视频高光谱成像方法，其特征在于，步骤1)中分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样是指分别通过用于模拟空间响应模糊核B的卷积层分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样。

3.根据权利要求1所述的基于智能空谱融合的高分辨率视频高光谱成像方法，其特征在于，步骤1)之前还包括训练用于模拟空间响应模糊核B的卷积层的步骤：

S1)构建低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧之间的成像模型：

X＝ZB+N_x

Y＝RZ+N_y

上式中，X为分辨率的高光谱图像帧，Y为高分辨率的RGB图像帧，Z为高分辨率的高光谱图像帧，B为估计空间响应模糊核，R为光谱响应模糊核，N_x和N_y为噪声，获得低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧的视频样本；

S2)建立用于模拟空间响应模糊核B卷积层以及用于模拟光谱响应模糊核R的全连接层，通过低分辨率的高光谱图像帧和高分辨率的RGB图像帧的视频样本训练成像模型，从而得到完成训练后的用于模拟光谱响应模糊核R的全连接层以及用于模拟空间响应模糊核B的卷积层。

4.根据权利要求1～3中任意一项所述的基于智能空谱融合的高分辨率视频高光谱成像方法，其特征在于，步骤1)中的低分辨率的高光谱图像帧、高分辨率的RGB图像帧为预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧，步骤1)之前还包括分别对原始的低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行预处理以获得预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧的步骤：将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来，分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换，得到标定坐标系下的各波段的子视频、高分辨率的RGB图像帧；然后将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理，得到预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧。