[发明专利]一种基于双主干网络的RGB-D图像显著性目标检测方法

说明书

一种基于双主干网络的RGB‑D图像显著性目标检测方法，基于双主干网络的RGB‑D显著性目标检测模型，通过隐‑显式多模态特征融合网络模块的设计，实现RGB图像和Depth图像特征信息的充分融合，为显著性目标检测做出精准决策。在双主干网络的编码阶段，各网络层间的特征信息通过隐式的双注意力交叉模态融合，实现各模态特征的逐层互补性融合；在编码器的末端，通过设计的空间相关特征的显式再融合模块，进一步加强多模态特征的融合效果；在解码器阶段，两次融合的特征又依次进行特征的解码，进而得到边缘清晰、定位准确的显著性目标检测结果。通过设计一个多模态特征学习网络，实现RGB图像和Depth图像两种模态数据的充分融合，提高基于RGB‑D图像的显著性目标检测效果。

技术领域

本发明属于计算机视觉中利用RGB图像和Depth(深度)图像来进行显著性目标检测的领域，尤其涉及使用深度学习技术进行端到端的目标检测算法。

背景技术

一般的图像显著性目标检测只处理RGB彩色图像来进行检测，而RGB-D显著性目标检测是结合RGB彩色图像和Depth(深度)两种图像模态来进一步提高显著性目标检测方法的性能。然而，传统的RGB-D显著性目标检测是手工提取特征，检测的性能受特征提取方法的限制，导致该类方法泛化性差、检测效果不佳，而深度学习的发展为目标检测性能带来了大幅度提升。

现有的基于深度学习算法的RGB-D显著性目标检测模型大多将RGB图像和Depth图像进行简单的串联后作为网络模型的输入，再使用编码器-解码器结构进行特征提取和处理，最后解码器直接输出一张阈值化之后的模板(mask)图像作为检测结果。然而，RGB图像和Depth图像的成像原理是完全不同的两种方式，其所包含的信息和信息呈现的方式也大相径庭，简单的将两者等同对待是不够准确的。

发明内容

本发明的目的在于克服现有技术的不足，公开一种基于双主干网络的RGB-D图像显著性目标检测方法。

技术方案：

一种基于双主干网络的RGB-D图像显著性目标检测方法，其特征在于，其基于双主干网络的RGB-D显著性目标检测模型，通过隐-显式多模态特征融合网络模块的设计，实现RGB图像和Depth图像特征信息的充分融合，为显著性目标检测做出精准决策。

所述的一种基于双主干网络的RGB-D图像显著性目标检测方法，其特征在于，具体实现方式：在双主干网络的编码阶段，各网络层间的特征信息通过隐式的双注意力交叉模态融合，实现各模态特征的逐层互补性融合；其次，在编码器的末端，通过设计的空间相关特征的显式再融合模块，进一步加强多模态特征的融合效果；在解码器阶段，两次融合的特征又依次进行特征的解码，进而得到边缘清晰、定位准确的显著性目标检测结果。

本发明的核心即为通过设计一个多模态特征学习网络，实现RGB图像和Depth图像两种模态数据的充分融合，进而提高基于RGB-D图像的显著性目标检测效果。

附图说明

图1是本发明提出的双主干网络模型结构图

图2是本发明实施例在实验所用数据集上的显著性目标检测定性结果

图3是本发明实施例在七个公开数据集上的显著性目标检测定量结果

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实例对本发明进行进一步信息说明。应当理解，此处所描述的具体实例仅仅用以解释本发明，并不用于限定本发明。

本发明提出一种基于双主干网络的RGB-D显著性目标检测模型。该模型通过隐-显式多模态特征融合网络模块的设计，实现RGB图像和Depth图像特征信息的充分融合，为显著性目标检测做出精准决策。