[发明专利]一种基于双主干网络的RGB-D图像显著性目标检测方法

权利要求书

1.一种基于双主干网络的RGB-D图像显著性目标检测方法，其特征在于，其基于双主干网络的RGB-D显著性目标检测模型，通过隐-显式多模态特征融合网络模块的设计，实现RGB图像和Depth图像特征信息的充分融合，为显著性目标检测做出精准决策。

2.如权利要求1所述的一种基于双主干网络的RGB-D图像显著性目标检测方法，其特征在于，

具体实现方式：

在双主干网络的编码阶段，各网络层间的特征信息通过隐式的双注意力交叉模态融合，实现各模态特征的逐层互补性融合；

其次，在编码器的末端，通过设计的空间相关特征的显式再融合模块，进一步加强多模态特征的融合效果；

在解码器阶段，两次融合的特征又依次进行特征的解码，进而得到边缘清晰、定位准确的显著性目标检测结果。

3.如权利要求1所述的一种基于双主干网络的RGB-D图像显著性目标检测方法，其特征在于，具体包括以下步骤：

S1，获取成对的拍摄场景相同的RGB图像R和Depth图像D，并将成对图片均缩放一致大小；

S2，将这对图像分别送入模型编码器的两个输入端进行特征提取和融合；

S3，将融合后的特征输入解码器端，解码并得到模型的输出结果。

4.如权利要求3所述的一种基于双主干网络的RGB-D图像显著性目标检测方法，其特征在于，

其中的S2中，具体包括以下步骤：S2.1-S2.3：

S2.1，双主干网络的多模态特征提取

该双主干网络的两个分支具有相似的网络结构，都使用VGG-16作为骨干：即由五个卷积层和一个空洞卷积层组成，层与层之间使用Max-Pooling连接，在每层最大池化层后得到R和D的相应特征，记为

S2.2，基于双注意力的交叉模态隐式特征融合模块(CSM)

自第二层网络开始至第五层网络的输出，对相应层间的R和D特征进行基于交叉模态的特征融合；

S2.3，空间相关特征显式再融合(SCFF)

在最后一层即使用ASPP的空洞卷积组合进一步进行特征提取；最后，使用Spatial Correlated Feature Fusion(SCFF)对两个模态的特征进行交叉融合，得到多模态融合后的特征F_co，其具体计算公式如下：

其中是分别通过两个ASPP后分别提取得的特征，Conv指Convolution卷积操作；

S3，特征的逐层解码

将第二至第五层融合后的特征拼接后再逐层输入到解码器Decoder，进行解码其计算公式如下：

Y¹＝Conv(Up(F_co)),

Yⁿ＝Conv(Con(Up(Y^n-1),CSM^7-n))n∈{2,3,4,5},

其中，Up()指上采样；

Decoder最后输出的结果为Y⁵二值化的图像，其中，白色表示显著性目标，黑色区域表示背景；该结果作为RGB-D图像的显著性目标检测结果。

5.如权利要求3所述的一种基于双主干网络的RGB-D图像显著性目标检测方法，其特征在于，

其中的S1中，将成对图片均缩放至224×224的大小。

6.如权利要求3所述的一种基于双主干网络的RGB-D图像显著性目标检测方法，其特征在于，

其中的S2.2中，所述交叉模态隐式特征融合模块(CSM)包括空间注意力操作和通道注意力操作；

空间通道注意力操作机制：数据流及其计算公式如下:

首先对主干网络各层得到的特征进行空间注意力加权操作：

式中指R和D在主干网络中第n层的特征图，是经过空间注意力机制计算后得到的特征，指计算得到的第n层R和D的空间注意图，“+”是指矩阵各元素的对应加法；其中，的计算公式如下：

其中，Sigmoid是激活函数，Conv指Convolution卷积操作；在得到空间注意力加权的R和D特征后，在通道注意阶段，对应的特征计算公式如下：

其中，GAP指全局平均池化，指逐像素相乘操作，Conv指Convolution卷积操作；

最后分别对特征和进行串联，得到第n层多模态融合后的特征：

式中Con指串联操作(Concatenation)。