[发明专利]一种RGB-D图像显著目标检测方法

权利要求书

1.一种RGB-D图像显著目标检测方法，其特征在于，该方法包括以下步骤：

S1、提取RGB图像特征，同时提取Depth图像特征，并将Depth图像特征与RGB图像特征进行融合，形成RGBD融合特征；

S2、调整所述RGBD融合特征的尺度，形成通道数和分辨率都相同的RGBD多层特征；

调整所述RGBD融合特征的尺度，分为两个阶段：第一阶段调整通道数，第二阶段调整分辨率，最终形成通道数和分辨率都相同的RGBD多层特征；

S2.1：调整通道数

对于所述S1步骤得到的RGBD融合特征，实施一个操作，得到同通道数的多尺度特征：

其中操作是指对特征进行卷积核为33的卷积操作，并实施ReLU激活函数：

其中表示卷积操作，表示ReLU激活函数；

S2.2：调整分辨率

对于所述S2.1步骤得到的同通道数的多尺度特征，经过一个下三角形上采样操作，得到同通道数同分辨率的RGBD多层特征：

所述操作根据的不同有所区别，具体定义如下：

其中操作为add-multiply-add特征融合模块；

S3、双向门控解码所述RGBD多层特征，形成RGBD增强特征；

S4、所述RGBD增强特征逐步相加，形成显著图。

2.根据权利要求1所述的一种RGB-D图像显著目标检测方法，其特征在于，在所述步骤S1中，提取RGB图像特征的方法是使用在ImageNet上预训练的ResNet50网络提取图像颜色特征，形成，i=1,…5；

类似地，提取Depth图像特征的方法是使用在ImageNet上预训练的ResNet50网络提取图像深度特征，形成，i=1,…5，其中表示层数，对应于ResNet50的每层输出，取值为1至5的自然数；

所述将Depth图像特征与RGB图像特征进行融合的方法采用深度指导残差模块实现，所述深度指导残差模块，首先对Depth图像特征进行并行的通道注意力和空间注意力特征增强，然后通过与RGB图像特征逐元素相乘，得到深度图像特征指导下的两个优化后的RGB图像特征，最后将二者进行相加融合，从通道和空间两个角度增强RGB图像特征；

为了保留更多的原始RGB图像特征，在增强前后增加一个残差连接，最终形成RGBD融合特征：

所述操作是指通道注意力模块，操作是指空间注意力模块，“”是指逐元素相乘操作，“+”是指逐元素相加操作。

3.根据权利要求1所述的一种RGB-D图像显著目标检测方法，其特征在于，在步骤S3中，双向门控循环解码所述RGBD多层特征，形成RGBD增强特征的具体方法如下：

以最高层的RGBD增强特征为初始隐藏状态，实施一个由高到低流向的单向门控循环解码过程，同时以最低层的RGBD增强特征为初始隐藏状态，实施一个由低到高流向的单向门控循环解码过程，双向门控循环解码过程中对应层产生的隐藏状态被融合，产生RGBD增强特征。