[发明专利]一种基于近红外增强的弱光彩色成像方法

权利要求书

1.一种基于近红外增强的弱光彩色成像方法，其特征在于，通过采用颜色滤波阵列联合采集近红外与可见光波段的光信号进行成像，并通过深度学习算法对采集的图像进行颜色重建；具体包括如下步骤：

步骤1，构建包括图像采集模块网络以及图像恢复模块网络的神经网络，其中，图像采集模块网络用于学习高通光量和宽谱域颜色滤波阵列的响应曲线参数，图像恢复模块网络用于对采集图像进行恢复重建；

步骤2，利用光谱数据以及对应场景的RGB数据，端到端训练步骤1所构建的神经网络；具体神经网络的训练过程为：

将光谱数据作为网络输入，将RGB数据作为网络输出的标签，采用如下损失函数来约束网络整体优化：

LOSS＝λ₁L_C1(W_C)+λ₂L_C2(W_C)+L_R(out,label)

其中，L_C1为使颜色滤波阵列响应曲线积分面积最大化的损失函数，L_C2为约束颜色滤波阵列响应曲线使其可被硬件实现的损失函数，L_R为约束图像恢复模块网络输出为正常RGB图像的损失函数，λ₁、λ₂为调整各损失函数比例的参数，W_C为卷积核，out为网络的输出，label为标签，即RGB数据标签；

步骤3，根据图像采集模块网络学习到的颜色滤波阵列的响应参数来设计制作颜色滤波阵列；利用所述颜色滤波阵列联合采集可见光与近红外的光信号，得到图像序列；

步骤4，利用图像恢复模块网络对步骤3采集的图像序列进行恢复重建。

2.根据权利要求1所述的一种基于近红外增强的弱光彩色成像方法，其特征在于，步骤1中，所述图像采集模块网络由一层卷积层构成，用于模拟颜色滤波阵列从光谱数据积分得到采集图像的过程，其卷积核的参数即颜色滤波阵列响应曲线的参数。

3.根据权利要求1所述的一种基于近红外增强的弱光彩色成像方法，其特征在于，步骤1中，所述图像恢复模块网络包括多尺度特征提取网络和特征融合重建网络；所述多尺度特征提取网络由多个支路组成，每条支路均包括若干残差模块、长短期记忆网络以及由输出到输入的反馈回路；所述特征融合重建网络由若干残差模块组成。

4.根据权利要求3所述的一种基于近红外增强的弱光彩色成像方法，其特征在于，步骤4中，恢复重建的步骤如下：

首先，将当前t时刻的输入图像I_t下采样，得到N层多尺度金字塔

接着，将所述N层多尺度金字塔与上一时刻的多尺度反馈特征在各自的尺度上进行合并，并分别送入所述多尺度特征提取网络的各支路；各支路的输出特征图作为反馈特征传至下一时刻，同时上采样至与图像I_t相同分辨率后再合并输入所述特征融合重建网络；

最终，输出当前t时刻的重建结果。