[发明专利]一种基于图像融合的多模态图像目标检测方法

说明书

本发明涉及一种基于图像融合的多模态图像目标检测方法，包括：1)将预先采集好的红外图像及其可见光图像，制作多模态图像数据集；2)将预处理好的成对图像作为融合模型中生成模型G的输入；生成模型G基于U‑Net等全卷积网络，以残差网络为基础的卷积神经网络作为生成网络模型结构，包括收缩过程和扩张过程，收缩路径包括多个卷积加ReLU激活层再加最大池化(Max Pooling)结构，下采样的每一步特征通道数都增加一倍，输出生成的融合图像；融合图像输入融合模型中的判别网络模型；根据训练过程中损失函数的变化，按迭代次数调节学习率训练指标，经训练，基于自有多模态图像数据集，能够得到同时保留红外图像热辐射特征和可见光图像结构性纹理特征的图像融合模型。

技术领域

本发明属于深度学习、计算机视觉和图像融合领域，涉及一种基于深度神经网络的红外-可见光的多模态图像融合模型和目标检测模型的目标检测方法。

背景技术

在自然环境中，物体会辐射出人眼无法看到的不同频率的电磁波，称为热辐射[1]。使用红外传感器所拍摄出的红外图像，能够记录不同物体的热辐射。红外(InfraredImage,IR)图像相较于可见光(Visible Image,VI)图像，具有如下特征：能够减少阳光，烟雾等外部环境的影响[1]；对具有明显红外热特性的物体和区域敏感。目前红外图像中的目标检测任务应用较广，包括军事、电力、建筑等方向均有重要应用。然而，红外图像不具有较高的空间分辨率和较丰富的细节和明暗对比度，可见边缘和物体细节等往往不可见。红外传感器仅从一个方面获取信息，因此无法提供所有必需的信息。

对于红外图像而言，利用图像融合技术，可以针对同一个目标得到的不同的图像，以最大化提取有用信息为目的，生成包含可见光图像中丰富的细节信息和红外图像中热信息的互补的融合图像[2]，可作为目标检测这一高层视觉任务的基础；也可以应用于医疗影像、电力缺陷等具体应用任务之上。

目标检测(ObjectDetection)是模式识别领域中一个基础性的研究课题，作为被检测物体的两种不同信息的表达方式，物体类别的获取和物体位置信息的采集是物体检测任务主要针对的两个问题，主要的评价指标是准确性和实时性。目标检测任务也逐渐由传统方法向深度学习方法转变，特别是Ross B.Girshick教授R-CNN，FastR-CNN，FasterR-CNN这三项里程碑式的工作，开创了把深度学习方法应用于目标检测的先河，学界也开启了新的一轮基于深度学习方法的目标检测技术研究讨论和进展[4]。

目标检测包括以下几个步骤，创建样本数据集(一般均包括正样本和负样本)，选择和提取目标特征，训练检测器。图像数据集中包含相当大的数据量，可以处理原始的图像数据来得到和其他相比最符合其类别的特点，即提取其特征。可把维数较高的原始数据空间中表现出的模式，通过非线性特征提取方法进行降维，用于分类和检测。

卷积神经网络(ConvolutionalNeuralNetwork，CNN)提供了一种端到端的学习模型，经过训练后的卷积神经网络能够较好的学习到图像中的特征，并且完成对图像特征的提取和分类。

现有的红外和可见光图像融合方法，一般根据其采用的基础理论可主要分为七类。即多尺度变换，稀疏表示，神经网络和其他方法。基于多尺度变换的方法是图像融合中最活跃的领域，其假设图像由不同区域中的多个层组成。此类型方法将源图像分解为多个层，使用人工设计的特定规则分别融合相应的层，并相应地通过逆变换重建目标图像。用于图像分解和重建的常用变换，包括小波变换，图像金字塔，曲线波等方法。基于稀疏表示的方法，利用在超完备字典中具有稀疏基础的线性组合的图像的可能表示，来实现其融合。基于神经网络的方法，通过设计人工神经网络(ArtificialNeuralNetwork,ANN)来模仿人脑的感知行为处理神经信息，具有良好的适应性，容错性和抗噪声能力。综上所述，现有通用性红外和可见光图像融合方法各有优缺，因而综合以上的混合模型着力于具体应用需求，结合了特定方法的优点来提高图像融合性能。除上述外，现今学界亦有基于总变差，模糊理论和信息熵等理论的图像融合方法[3]。

参考文献