[发明专利]一种基于非对称双流网络架构的RGB-D显著性检测方法

权利要求书

1.一种基于非对称双流网络架构的RGB-D显著性检测方法，其特征在于，包括如下步骤：

步骤1、基于RGB-D数据集中对应的RGB图片和Depth深度图分别得到输入张量I_RGB和I_D；

步骤2、将输入张量I_RGB和I_D输入非对称双流网络架构，得到基于RGB和Depth的多尺度编码特征和以及B_iL_j，i＝1，2，3，4，j＝1，2，3；

所述非对称双流网络架构包括：RGB流网络和Depth流网络；所述RGB流网络采用的特征编码器为VGG架构，并丢弃最后三层全连接层，以保留空间结构，提取多尺度上下文信息；所述RGB流网络中还包括流阶梯模块，所述流阶梯模块构造了四个细节信息传递分支来保留局部细节信息并且进化式地融合了全局位置信息，最终得到基于RGB的多尺度编码特征；所述Depth流网络所采用的特征编码器为一个细节信息传递分支，能够在提取Depth特征时保留其空间分辨率；所述特征编码器针对每一帧Depth深度图像生成对应于RGB流的T个阶段的特征图；

步骤3、将提取出的基于Depth的多尺度编码特征融合进RGB流中，得到具有丰富位置信息的互补特征；

步骤4、通过解码器对得到的互补特征进行特征解码，得到最终显著性预测结果；表示如下：

其中表示m个卷积和长宽为w和h，步长为d的卷积操作；其中，w＝h＝d＝1；m＝3；δ表示Sigmoid操作；Up_s表示scale factor为s的双线性插值上采样操作；F_final表示最终的显著性预测输出。

2.根据权利要求1所述的一种基于非对称双流网络架构的RGB-D显著性检测方法，其特征在于，步骤3包括：

通过深度注意力模块将提取到的深度特征融合进特征中，得到具有丰富位置信息的互补特征

所述深度注意力模块包括上下文注意力模块和通道注意力模块；所述上下文注意模块以深度特征为输入，通过Softmax操作输出各个通道的权重α_i，i＝1，2，...，C；表示如下：

其中α_i表示第i个通道的权重，分别表示特征中的第j个和第m个像素位置，N_p是特征图中某一通道的像素数量，也即H×W；C_w×h，d表示卷积和长宽为w和h，步长为d的卷积操作，其中w＝h＝d＝1；表示矩阵乘操作；

所述通道注意力模块将所述上下文注意模块得到的各个通道的权重α_i，i＝1，2，...，C融入于深度特征中，得到关注于全局上下文的增强的深度特征；

将增强的深度特征融入对应的RGB特征中，得到融合后的互补特征表示如下：

其中C_w×h，d表示卷积和长宽为w和h，步长为d的卷积操作，其中，w＝h＝d＝1；δ表示Sigmoid操作；表示DepthNet中第t层提取的深度特征t＝3，4，5；表示由FLM模块得到的不同阶段的特征，其中t＝3，4，5；表示像素乘操作；α_i表示第i个通道特征的权重值；β_i表示的第i个通道的注意力权重图；代表第s个阶段融合后的互补特征，其中s＝3，4，5。

3.根据权利要求1所述的一种基于非对称双流网络架构的RGB-D显著性检测方法，其特征在于，所述VGG架构为VGG-19骨干网络；

所述流阶梯模块采用VGG-19输出的基于RGB的多尺度编码特征作为输入，并以局部-全局进化融合的方式集成四个细节信息传递分支中提取的多尺度局部和全局特征；

所述局部-全局进化融合包括：每个分支都通过局部-全局进化融合流从其他垂直并行特征中获取丰富的信息；较深的分支的表示通过上采样和像素级加和操作融合到较浅的分支中，而较浅的分支的表示通过下采样和像素级加和操作融合到较深的分支中。