[发明专利]基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质

说明书

本发明公开了一种基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质，本发明基于智能空谱融合的高分辨率视频高光谱成像方法包括：1）分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样；2）将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络，获得高分辨率的高光谱图像帧。本发明基于智能空谱融合的高分辨率视频高光谱成像方法能够基于低分辨率的高光谱图像帧、高分辨率的RGB图像帧，通过预先训练好的融合网络，获得高分辨率的高光谱图像帧，从而可有效解决现有直接通过成像传感器来解决高光谱空间分辨率极其困难且成本高的问题，可有效降低获取高光谱图像帧的成本。

技术领域

本发明涉及高光谱成像技术，具体涉及一种基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质。

背景技术

高光谱成像技术可以同时获取与不同光谱波长相对应的视频，光谱范围覆盖了可见光波段到短波红外波段。由于不同材料反射率也不一样，所以高光谱视频可以帮助准确识别目标，因而高光谱视频被广泛地应用于遥感、医学诊断和人脸识别等领域。但是，由于成像传感器的限制，现有光学成像系统在空间分辨率、光谱分辨率以及信噪比之间相互制约，难以直接获取高空间分辨率高光谱视频，降低了高光谱视频的应用价值。此外，通过成像传感器来解决高光谱空间分辨率极其困难且成本高，已成为一项亟待解决的关键技术问题。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于智能空谱融合的高分辨率视频高光谱成像方法及装置，本发明能够基于低分辨率的高光谱图像帧、高分辨率的RGB图像帧，通过预先训练好的融合网络，获得高分辨率的高光谱图像帧，从而可有效解决现有直接通过成像传感器来解决高光谱空间分辨率极其困难且成本高的问题，可有效降低获取高光谱图像帧的成本。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于智能空谱融合的高分辨率视频高光谱成像方法，包括：

1）分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样；

2）将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络，获得高分辨率的高光谱图像帧。

可选地，步骤1）中分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样是指分别通过用于模拟空间响应模糊核B的卷积层分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样。

可选地，步骤1）之前还包括训练用于模拟空间响应模糊核B的卷积层的步骤：

S1）构建低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧之间的成像模型：

X=ZB+N_x

Y=RZ+N_y

上式中，X为分辨率的高光谱图像帧，Y为高分辨率的RGB图像帧，Z为高分辨率的高光谱图像帧，B为估计空间响应模糊核，R为光谱响应模糊核，N_x和N_y为噪声，获得低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧的样本；