[发明专利]一种基于全卷积神经网络的RGB-D显著性检测方法

说明书

本发明公开了一种基于全卷积神经网络的RGB‑D显著性检测方法。通过端到端的全卷积神经网络可以实现任意尺度图片的显著性检测，这是运用深度学习实现计算机视觉相关技术的一种有效方法。提出的方法主要包括使用多尺度卷积与注意力机制解决在跨模态融合过程中低质量深度图对特征融合的干扰，为了获取更丰富的全局信息，在顶层使用了一个全局信息感知融合模块。在其他层使用新的融合策略进行跨模态融合，同时在最低层中对前四层特征进行整合并加以利用来进行最终结果的预测。通过上述方式，本发明能够有效过滤掉深度信息中的冗余信息，对前四层特征的有效整合使得在最底层的融合过程中可以利用到更多更有效的全局信息与局部信息。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于全卷积神经网络的RGB-D显著性检测。

背景技术

不论在多么复杂的场景下，人类的眼球总是能捕捉到整个场景中最显眼的物体或者区域。之后，人类通过大脑对视觉捕捉到的信息进行再处理，人类即可获取感知到包含更多细节的信息内容。人类的这种机制引起了认知科学家们极大的兴趣，随着技术的发展，研究人员想将人类的这种能力赋予到计算机中。一旦计算机具有了感知显著区域的能力，那么计算机就也具备了解决复杂场景下的视觉问题，如目标的追踪、物体的检测和图像的编辑等等。因此，显著性目标检测是目前一个非常火热的研究领域。

目前已有的基于深度学习的显著性检测主要分为两类：1)基于RGB图像进行检测的方法；2)基于RGB与Depth进行检测的方法。方法1)由于缺少深度信息，在复杂场景下检测效果大多较差；方法2)需要考虑低质量深度图特征信息以及如何高效融合跨模态信息。

发明内容

本发明主要解决的技术问题是提供一种基于全卷积神经网络的RGB-D显著性检测方法，利用深度增强过滤冗余的深度信息，对全局信息有针对性地进行处理并高效融合跨模态特征。通过加权处理相关侧输出实现在预测最终结果时对全局信息与局部信息的充分运用。

为解决上述技术问题，本发明采用的一个技术方案是：一种基于全卷积神经网络的RGB-D显著性检测，属于计算机视觉领域。其特征在于，包括以下步骤：

S1：输入彩色图与深度图；

S2：通过两个相同的VGG-16作为骨干网络提取彩色图特征与深度图特征；

S3：将主干网络按照块分成五个层次，整个网络自顶向下进行跨模态融合；

S4：对每一层主干网络所提取到的深度图进行深度增强操作；

S5：在第五层使用全局信息感知融合模块对提取到的RGB特征与增强后的深度特征进行融合并进行侧输出；

S6：在第二层与第三层、第四层使用特征融合模块对提取到的RGB特征与增强后的深度特征进行融合并进行侧输出；

S7：在第一层使用加权整合的方式对之前层侧输出进行再处理并进行跨模态融合，其结果作为最终预测结果。

根据本方法的一个实施例：所述步骤S4包括以下步骤：下面对本发明中的技术方案阐述如下：

将主干网络提取到的深度特征在每一层分别进行两次不同膨胀率的空洞卷积，将第一次空洞卷积所得到的特征结果依次进行空间注意力操作与通道注意力操作。将第一次空洞卷积经过两次注意力操作的结果与第二次空洞卷积结果进行像素相加，之后同样依次进行空间注意力操作与通道注意力操作。

根据本方法的一个实施例：所述步骤S5包括以下步骤：

主干网络提取到的RGB特征与增强后的深度特征进行跨模态融合，首先分别将两种特征分别进行三次连续的以3*3为大小的卷积核的卷积操作，第二次卷积结果与第三次卷积结果进行像素级相加操作。将这两个经过连续卷积操作的特征进行通道串联。之后，再进行一次通道注意力操作。最终，将结果反馈到下一层并且此结果会作为该层侧输出。