[发明专利]基于注意力机制的多尺度神经网络红外图像彩色化方法

说明书

本发明公开了一种基于注意力机制的多尺度神经网络红外图像彩色化方法，该方法首先利用二维卷积神经网络在不同分辨率尺度下对输入的红外图像对进行特征提取，然后通过注意力机制对提取出的高维特征信息进行提炼处理，最终将多尺度信息进行融合处理得到预测的彩色化红外图像。与现有的红外图像彩色化网络相比，本发明基于注意力机制与多尺度层次化结构构建神经网络算法模型，通过采用改进的空间注意力与多维特征连结机制，能够提高网络模型特征提取能力的同时有效降低模型复杂度，通过设计像素损失、边缘损失和感知损失的复合损失函数，进一步提高彩色化红外图像的质量。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于注意力机制的多尺度神经网络红外图像彩色化方法。

背景技术

红外图像彩色化是计算机视觉领域一个备受关注的研究问题，在安防监控、无人系统、军用装备等各类系统中具有广泛的应用前景。特别地，如何实现高质量、高分辨率、多细节的彩色红外图像是该技术亟待突破的挑战。近年来，基于深度学习技术的人工智能发展迅速，在目标检测、图像分类、语音识别等领域取得了突破性进展。红外图像彩色化作为计算机视觉的应用热点之一，同样得益于深度神经网络技术的不断创新，彩色化效果得到显著提升。

常见的可见光灰度图像彩色化方法一般采用生成对抗网络实现彩色化功能。其生成器一般由U-net网络结构或者编解码网络结构(Encoder-Decoder)构成，这种结合了多尺度信息的生成器相比平坦网络可以获取更丰富的全局和局部信息。这样的网络设计在可见光灰度图像彩色化问题上取得了很好的结果。但由于红外图像和可见光图像在成像原理上的差异，直接将可见光图像彩色化方法用于红外图像彩色化中，会产生较为模糊的边缘以及细节信息，导致成像质量较差。

发明内容

本发明的目的在于提供一种基于注意力机制的多尺度神经网络红外图像彩色化方法，以获得高质量的彩色红外图像。本发明提出的网络结构以多尺度网络作为骨干，设计创新的注意力机制与特征连结方法，以增强网络的特征提取与利用能力。此外，本发明提出了一种针对红外图像彩色化网络的复合损失函数，有效地将像素损失、边缘损失和感知损失结合起来。基于网络结构和损失函数上的创新，本发明在红外图像着色结果上达到了目前最好的效果。

为达到上述目的，本发明采用如下技术方案来实现的：

基于注意力机制的多尺度神经网络红外图像彩色化方法，包括以下步骤：

1)从数据库中获取成对的红外图像和彩色图像，进行图像预处理后分为训练集和测试集；

2)构建基于注意力机制的多尺度神经网络模型，将训练集输入该基于注意力机制的多尺度神经网络模型进行训练；

3)将测试集输入训练好的基于注意力机制的多尺度神经网络模型进行测试，得到基于注意力机制的多尺度神经网络模型的新能和客观指标评估；

4)将待处理的红外图像输入测试通过的基于注意力机制的多尺度神经网络模型，则输出彩色化图像。

本发明进一步的改进在于，步骤2)的具体实现方法如下：

所述基于注意力机制的多尺度神经网络模型是从输入端到输出端的映射函数F(X^N×H×W；θ)，θ＝{θ₁，θ₂，...，θ_n}，θ₁表示第一层的参数，n表示多尺度神经网络的总层数，X^N×H×W表示输入图像，N，H，W分别为输入图像的维度，高度和宽度，损失函数为：