[发明专利]一种RGB-D图像显著目标检测方法

说明书

本发明公开了一种RGB‑D图像显著目标检测方法，包括以下步骤：提取RGB图像特征，同时提取Depth图像特征，并将Depth图像特征与RGB图像特征进行融合，形成RGBD融合特征；调整所述RGBD融合特征的尺度，形成通道数和分辨率都相同的RGBD多层特征；双向门控解码所述RGBD多层特征，形成RGBD增强特征；所述RGBD增强特征逐步相加，形成显著图。本发明检测方法中将编码器抽取的多层特征看作输入序列，通过双向门控循环单元解码多层特征，利用门控循环单元记忆共同信息，遗忘不一致信息，找出多层特征中的共有信息，提升特征的信息表示，实现最优的解码过程。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种RGB-D图像显著目标检测方法。

背景技术

RGB-D图像是由RGB颜色图像和Depth深度图像组成，表达了某一场景的外观特点及三维信息。目前RGB-D图像显著目标检测方法存在两种多模态融合方法，一种是双流融合，同等看待颜色和深度图像，另一种是深度指导的融合，以颜色图像为主，深度图像为辅。鉴于存在一些质量较差的深度图像，采用双流融合，可能扩大深度误差，给最终的显著目标检测结果带来不利的影响。因此深度指导的融合是一种更好的融合方法。

同时，图像显著目标检测属于像素级别的密集预测任务，通常使用VGG16或ResNet50等主干网络实现多层特征提取，然后由解码器通过逐层上采样并结合多层特征产生最终的显著图。结合的方法多为相加或者级联操作，这种方法从高层开始，逐层地累加低层特征，可能会在上采样过程中稀释高层特征，同时也会增加一些低层噪音。

因此，亟需设计一种RGB-D图像显著目标检测方法，提供一种合适的解码器，更好地融合多层特征，以解决上述问题。

发明内容

本发明所需要解决的技术问题是提供一种RGB-D图像显著目标检测方法，更好地融合多层特征。

本发明具体采用的技术方案如下：

一种RGB-D图像显著目标检测方法，该方法包括以下步骤：

S1、提取RGB图像特征，同时提取Depth图像特征，并将Depth图像特征与RGB图像特征进行融合，形成RGBD融合特征；

S2、调整所述RGBD融合特征的尺度，形成通道数和分辨率都相同的RGBD多层特征；

S3、双向门控解码所述RGBD多层特征，形成RGBD增强特征；

S4、所述RGBD增强特征逐步相加，形成显著图。

进一步地，在所述步骤S1中，提取RGB图像特征的方法是使用在ImageNet上预训练的ResNet50网络提取图像颜色特征，形成

类似地，提取Depth图像特征的方法是使用在ImageNet上预训练的ResNet50网络提取图像深度特征，形成其中i表示层数，对应于ResNet50的每层输出，i取值为1至5的自然数。

所述将Depth图像特征与RGB图像特征进行融合的方法采用深度指导残差模块实现，所述深度指导残差模块，首先对Depth图像特征进行并行的通道注意力和空间注意力特征增强，然后通过与RGB图像特征逐元素相乘，得到深度图像特征指导下的两个优化后的RGB图像特征，最后将二者进行相加融合，从通道和空间两个角度增强RGB图像特征。

为了保留更多的原始RGB图像特征，在增强前后增加一个残差连接，最终形成RGBD融合特征

所述CA(·)操作是指论文《CBAM:Convolutional Block Attention Module》中所提出的通道注意力模块，SA(·)操作是指论文《CBAM:Convolutional Block AttentionModule》中所提出的空间注意力模块，“×”是指逐元素相乘操作，“+”是指逐元素相加操作。