[发明专利]一种基于非对称双流网络架构的RGB-D显著性检测方法

说明书

本发明公开了一种基于非对称双流网络架构的RGB‑D显著性检测方法，包括：基于RGB‑D数据集中RGB图像和对应的Depth深度图分别得到输入张量I_RGB和I_D；将输入张量I_RGB和I_D输入非对称双流网络架构，得到基于RGB和Depth的多尺度编码特征；非对称双流网络架构中，RGB流网络在VGG的基础上还包括流阶梯模块，采用四个细节信息传递分支；Depth流网络采用一个细节信息传递分支；通过深度注意力模块将提取到的深度特征融合进RGB流中，得到具有丰富位置信息的互补特征；通过解码器对得到的互补特征进行特征解码，得到最终显著性预测结果。本发明构建了基于非对称的双流网络架构的RGB‑D显著性检测模型，充分考虑了RGB和Depth数据之间的固有差异，对于很多有挑战性的场景都能取得准确的预测结果。

技术领域

本发明涉及到计算机视觉领域，尤其是涉及一种基于非对称的双流网络架构的RGB-D显著性检测实现方法。

背景技术

显著性检测是指在一幅图像里，旨在识别最能吸引用户的视觉注意力和最引人注目的区域和物体，由于在场景中选择最具视觉特征的信息，在计算机视觉中的广泛应用引起了人们的广泛关注。伴随着显著性目标检测算法的日渐成熟，在越来越多的工业界或学术界领域都涉及到了对其的应用。在工业界，比如在生活场景中通过手机或其他照相设备对商品场景进行拍摄，再对其进行处理得到所关注的商品的详细信息等。在学术界，例如在物体的跟踪识别中进行显著性检测，剔除掉其余场景信息从而直接获得运动物体的运行轨迹；还有图像检索，主要是利用显著性目标区域的信息以及其所位于的空间分布情况，来进行多个图片之间的匹配和搜索，因此显著性算法在图像检索中，具有非常重要的作用和意义。此外还有场景分类，姿势估计等领域，显著性检测都占据着十分重要的地位。

根据输入形式的不同，显著性检测可以分为两大种类：静态图像显著性检测和视频显著性检测。其中静态图像显著性检测包括2D显著性检测、3D显著性检测和光场(4D)显著性检测。2D显著性检测的输入是RGB彩色图像；3D显著性检测(也即RGB-D显著性检测)的输入包括RGB彩色图像和与其相对应的深度图像；4D光场显著性检测的输入是光场图像，包括全聚焦RGB图像、焦点堆栈图像(一系列聚焦在不同深度层面物体上的聚焦切片图像)和深度图。而视频显著性检测则是以连续的视频帧作为输入，相较于2D显著性检测多了时间维度的信息需要考虑。

2D显著性检测方法是最为常见的基于静态图像的显著性检测方法，它采用图像对比度，颜色，纹理等信息来进行检测，虽然在现有的2D显著性检测数据库上取得了很好的检测结果，但RGB数据中的外观特征对于某些具有挑战性的场景(如多个或透明的物体，相似的前景和背景，复杂的背景，低强度的环境等)的预测效果较低。与单一RGB图像相比，深度信息在位置和空间结构上具有更好的判别力，这已被证明有利于精确的显着性预测。此外，随着深度传感器(例如Kinect)的出现，用于RGB自然图像的配对Depth深度数据可较易获得。近年来许多关于RGB-D的显著性目标检测的工作证明通过Depth信息对RGB特征的指导，显著性的检测效果得到了有效提升。大多数基于RGB-D的方法利用对称的双流体系结构来提取RGB和深度特征。

但是，虽然RGB数据包含更多信息，例如颜色，纹理，轮廓以及有限的位置信息，但是灰度深度数据提供了更多信息，例如空间结构和3D布局信息。因此，对称的RGB-D双流网络可能会忽略RGB和深度数据的固有差异，从而造成误检或错检等情况。此外，现有的RGB-D方法在采用RGB和深度流网络中的采用的跨步和合并操作时不可避免地会造成细节信息的丢失。

发明内容

有鉴于此，本发明提供了一种基于非对称的双流网络架构的RGB-D显著性检测方法，利用RGB信息和Depth深度信息进行显著性检测，并通过非对称的双流网络优化更新，实现了复杂场景下高质量的RGB-D显著性检测结果。

为此，本发明提供的技术方案如下：