[发明专利]一种基于近红外增强的弱光彩色成像方法

说明书

本发明公开了一种基于近红外增强的弱光彩色成像方法。具体步骤如下：(1)构建包括图像采集模块以及图像恢复模块的神经网络；(2)利用光谱数据以及对应场景的RGB数据，端到端训练所构建的神经网络；(3)根据图像采集模块网络学习到的颜色滤波阵列的参数来设计制作颜色滤波阵列，利用颜色滤波阵列联合采集可见光与近红外的光信号，得到图像序列；(4)利用图像恢复模块网络对图像序列进行恢复重建。本发明基于优化采集联合计算重建的思路，先采用学习的方式优化设计传感器的颜色滤波阵列，联合采集近红外与可见光，再基于深度学习进行图像恢复处理的，实现了星光级、被动式、彩色、清晰、实时成像。

技术领域

本发明涉及计算摄像学和深度学习领域，尤其涉及一种基于近红外增强的弱光彩色成像方法。

背景技术

弱光环境下的清晰成像与场景观测具有广泛的应用需求，比如国防军事、环境监测、安防监控、生物科研等。弱光彩色成像一直是成像领域研究的热点和难点问题。弱光环境下，光信号极其微弱，而一般相机传感器灵敏度低、读出噪声高，所以采集到的图像信噪比极低，拍摄物体的轮廓、形状难以分辨，细节、颜色更是难以重现。

现有的夜视成像技术，普遍基于像增强管技术和红外技术，极大提高了人类在弱光环境下的感知能力，但是，这些技术都无法实现在极弱光(1e-3Lux)条件下的彩色成像。

发明内容

针对以上现有弱光成像方法的缺陷，本发明的目的在于提出一种基于近红外增强弱光彩色成像方法。

为达上述目的，本发明采用的技术方案如下：

一种基于近红外增强的弱光彩色成像方法，通过采用颜色滤波阵列联合采集近红外与可见光波段的光信号进行成像，并通过深度学习算法对采集的图像进行颜色重建。

进一步地，上述成像方法具体包括如下步骤：

步骤1，构建包括图像采集模块网络以及图像恢复模块网络的神经网络，其中，图像采集模块网络用于学习高通光量和宽谱域颜色滤波阵列的响应曲线参数，图像恢复模块网络用于对采集图像进行恢复重建；

步骤2，利用光谱数据以及对应场景的RGB数据，端到端训练步骤1所构建的神经网络；

步骤3，根据图像采集模块网络学习到的颜色滤波阵列的响应参数来设计制作颜色滤波阵列；利用所述颜色滤波阵列联合采集可见光与近红外的光信号，得到图像序列；

步骤4，利用图像恢复模块网络对步骤3采集的图像序列进行恢复重建。

进一步地，步骤1中，所述图像采集模块网络由一层卷积层构成，用于模拟颜色滤波阵列从光谱数据积分得到采集图像的过程，其卷积核的参数即颜色滤波阵列响应曲线的参数。

进一步地，步骤1中，所述图像恢复模块网络包括多尺度特征提取网络和特征融合重建网络；所述多尺度特征提取网络由多个支路组成，每条支路均包括若干残差模块、长短期记忆网络以及由输出到输入的反馈回路；所述特征融合重建网络由若干残差模块组成。

进一步地，步骤2中，具体神经网络的训练过程为：

将光谱数据作为网络输入，将RGB数据作为网络输出的标签，采用如下损失函数来约束网络整体优化：

LOSS＝λ₁L_C1(W_C)+λ₂L_C2(W_C)+L_R(output_R,rgb)