[发明专利]基于空间视差先验网络的多幅红外图像增强方法

说明书

本发明提出了一种基于空间视差先验网络的多幅红外图像增强方法，其特征在于：低质量的多幅红外图像输入空间视差先验网络，其中多幅红外图像是从略微不同的视角获取，仅在水平方向具有亚像素的位移差，由空间视差先验网络进行红外图像的增强运算，输出单幅高质量红外图像；所述空间视差先验网络包括一个浅层特征提取模块、若干个空间视差先验模块，一个特征融合重建模块和一个加法器。本发明提出的多幅红外图像增强方法能够有效地去除模糊和噪声，增加细节，提高信噪比，且增强后的单幅红外图像清晰，视觉效果好。

技术领域

本发明涉及红外图像增强技术领域，具体地说，本发明涉及一种基于空间视差先验网络的多幅红外图像增强技术方案。

背景技术

热像仪可以通过感应物体发出的红外辐射被动成像，因此不受照明(如夜间微光)和恶劣天气的影响。然而，用于捕获高质量红外图像的热传感器非常昂贵，而低成本的商用热传感器由于散焦、不平衡、相机抖动、运动等原因，往往会产生严重的模糊，并且会受到复杂工作环境中的各种噪声干扰，导致采集的红外图像具有很低的信噪比，难以在实际中应用。因此，提高红外图像的质量具有非常重要的意义。

红外图像增强的基本目标是从输入的低质量红外图像中重建恢复出高质量红外图像。根据输入红外图像的数量，红外图像增强方法分为单幅红外图像增强和多幅红外图像的增强方法。对于多幅红外图像增强，现存方法解决这个问题主要分为两个步骤。即：配准对齐、融合增强。配准对齐过程可分为基于刚性变换矩阵的方法和基于运动估计或运动补偿的方法，融合增强过程可分为基于正则化的方法和基于学习的方法。然而这些方法的效果对配准过程非常敏感，如果无法实现精确配准，增强后的红外图像可能会产生明显的重建伪影。因此，如何避免显式对齐带来的伪影影响，一直以来是个难题。

发明内容

针对现有的技术缺陷，本发明提出了一种无需显式对齐的多幅红外图像增强技术方案。经本发明增强得到的红外图像，有效地去除了模糊和噪声，增加了细节，具有很高的信噪比。

为达到上述目的，本发明采用的技术方案提供一种基于空间视差先验网络的多幅红外图像增强方法，低质量的多幅红外图像(从略微不同的视角获取，仅在水平方向具有亚像素的位移差)输入空间视差先验网络，由空间视差先验网络进行红外图像的增强运算，输出单幅高质量红外图像；所述空间视差先验网络包括1个浅层特征提取模块、G个空间视差先验模块，1个特征融合重建模块和1个加法器。

输入空间视差先验网络的N个低质量红外图像经浅层特征提取模块得到和浅层空间特征和浅层视差特征PF₀；

随后，将浅层空间特征和浅层视差特征PF₀输入第一个空间视差先验模块，其输出为和PF₁，并作为第二个空间视差先验模块的输入，以此类推，经过G个空间视差先验模块后分别提取得到高维空间特征和高维视差特征PF₁,...,PF_G；

然后，将高维空间特征和高维视差特征PF_G输入融合重建模块，得到全局残差图像I_Res；

最后，经过加法器将全局残差图像I_Res和输入低质量红外图像融合得到红外图像增强结果I_H，其中N为输入的红外图像的个数，表示向上取整操作。

具体地，所述浅层特征提取模块包括N个共享权重的5×5卷积层，N个共享权重的3×3卷积层、1个连接器和1个1×1的卷积层；

浅层特征提取模块的输入为N个低质量红外图像分别输入到N个共享权重的5×5卷积层，得到低频特征相应的数学定义如下，

其中H_5×5(·)表示卷积核大小为5×5的卷积操作；