[发明专利]一种基于特征先校正再融合的多模态显著性目标检测方法

说明书

本发明公开了一种基于特征先校正再融合的多模态显著性目标检测方法，包括两步样本选择策略获取高质量且与可见光图像前景对齐的深度图像作为可见光图像生成深度图像网络的训练目标，送入可见光图像生成深度图像网络获取高质量伪深度图像；深度特征校正模块对原始深度图像进行校正获得校正后的深度特征；多模态多尺度融合模块对提取的可见光图像特征和得到校正的深度图像特征进行跨模态融合充分挖掘两种模态的互补特征；采用浅层特征注入模块将浅层细节信息补充到深层特征获得更加具有辨别力的特征；具有辨别力的跨模态特征预测最终显著性图，获得显著性预测图；采用监督学习模型得到网络模型参数，获得完整且精细的显著性预测图。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于特征先校正再融合的多模态显著性目标检测方法。

背景技术

显著性目标检测旨在突出并分割出自然图像中最具视觉吸引力的物体或区域。作为一种重要的图像预处理的方式，近年来被应用于许多计算机视觉领域，如弱监督图像语义分割、视觉跟踪、目标识别、图像检索、视频压缩等。

早期的大多数基于可见光深度图像的显著性目标检测方法主要通过设计手工特征和利用不同的先验信息进行可见光深度图像的显著性目标检测算法的设计。然而，由于有限的特征表达能力，传统的方法遇到了性能瓶颈。鉴于深度卷积神经网络强大的表征能力，其已成功应用于显著性目标检测并实现了实质性的性能改进。

尽管卷积神经网络已经取得了不错的检测结果，但这些方法仍然面临着一些挑战。在不同模态图像成像的过程中，因成像环境(如低光照、雾霾等特殊环境)，或成像技术(如低分辨率相机和外界设备干扰等)的限制，使得在深度图像在成像过程中，成像传感器可能受到噪声影响，导致生成低质量的深度图像。当利用这些低质量深度图像进行显著性目标检测时，低质量图像不可避免地引入一定的噪声，进而降低融合特征的辨别力，影响模型的性能。

为了缓解上述问题，一些基于图像质量问题的显著性检测方法被提出，现有的大多数方法主要从特征级选择的方法来解决深度质量问题。除此之外，还有从图像增强方面来解决，通过估计新的深度图像，然后从估计的深度图像和原始深度图像中提取特征进行融合，进而对深度图像进行增强，解决深度图像可能存在的图像质量问题。

然而，该方法仅考虑了低质量的深度图像，但是在深度图像和可见光图像前景不一致的情况下，该模型在此种情况下对显著性目标不能进行很好的检测和分割。

发明内容

为了克服上述现有技术不足，本发明的目的在于提出了一种基于特征先校正再融合的多模态显著性目标检测方法，解决图像质量问题的两阶段方法，所述检测方法包括：

根据所述两阶段的基于特征先校正再融合的多模态图像显著性目标检测方法同时考虑低质量和与可见光图像前景不一致的深度图像；

在图像生成阶段根据所述的两步样本选择策略选择高质量且与可见光图像前景一致的深度图像作为可见光图像生成深度图像网络的监督信息，送入可见光图像生成深度图像网络获取高质量伪深度图像；

在显著性推理阶段，根据所述的深度特征校正模块，利用生成的高质量伪深度图像对原始深度图像进行校正获得校正后的深度特征；

在显著性推理阶段，根据所述的浅层特征注入模块将重要浅层细节信息补充到深层特征获得更加具有辨别力的单模态特征；

在显著性推理阶段，根据所述的多模态多尺度融合模块对提取的可见光图像特征和得到校正的深度图像特征进行跨模态融合充分挖掘两种模态的互补特征和多尺度上下文信息；

根据所述的具有辨别力的跨模态特征进行逐级解码预测显著性图，获得最终的显著性预测结果；

对所述显著性预测图采用监督学习模型得到网络模型参数。

在图像生成阶段，根据所述利用两步样本选择策略在图像生成阶段生成高质量伪深度图像的具体做法：