[发明专利]一种基于全卷积神经网络的RGB-D显著性检测方法

权利要求书

1.一种基于全卷积神经网络的RGB-D显著性检测方法，其特征在于包括以下步骤：

S1：输入彩色图与深度图；

S2：通过两个相同的VGG-16作为骨干网络提取彩色图特征与深度图特征；

S3：将主干网络按照块分成五个层次，整个网络自顶向下进行跨模态融合；

S4：对每一层主干网络所提取到的深度图进行深度增强操作；

S5：在第五层使用全局信息感知融合模块对提取到的RGB特征与增强后的深度特征进行融合并进行侧输出；

S6：在第二层与第三层、第四层使用特征融合模块对提取到的RGB特征与增强后的深度特征进行融合并进行侧输出；

S7：在第一层使用加权整合的方式对之前层侧输出进行再处理并进行跨模态融合，其结果作为最终预测结果。

2.根据权利要求1所述的一种基于全卷积神经网络的RGB-D显著性检测方法，其特征在于S4采用多尺度方式对深度图进行增强，具体方法如下：

将主干网络提取到的深度特征在每一层分别进行两次不同膨胀率的空洞卷积，将第一次空洞卷积所得到的特征结果依次进行空间注意力操作与通道注意力操作。将第一次空洞卷积经过两次注意力操作的结果与第二次空洞卷积结果进行像素相加，之后同样依次进行空间注意力操作与通道注意力操作。

3.根据权利要求1所述的一种基于全卷积神经网络的RGB-D显著性检测方法，其特征在于全局感知模块更注重提取并融合全局信息，所述步骤S5具体如下：

主干网络提取到的RGB特征与增强后的深度特征进行跨模态融合，首先分别将两种特征分别进行三次连续的以3*3为大小的卷积核的卷积操作，第二次卷积结果与第三次卷积结果进行像素级相加操作。将这两个经过连续卷积操作的特征进行通道串联。之后，再进行一次通道注意力操作。最终，将结果反馈到下一层并且此结果会作为该层侧输出。

4.根据权利要求1所述的一种基于全卷积神经网络的RGB-D显著性检测方法，其特征在于特征融合模块采用新的方法对跨模态特征进行融合，所述步骤S6具体如下：

主干网络提取到的RGB特征与增强后的深度特征进行跨模态融合，首先将两种特征直接串联并与上一层反馈进行像素级相加。之后，对特征进行空间注意力操作与通道注意力操作。再对主干网络提取到的RGB特征与增强后的深度特征分别进行两次卷积操作，两个特征结果与之前串联后经过注意力操作的结果进行像素级相加，其结果将作为该层侧输出并传递到下一层。

5.如权利要求1中所述的一种基于全卷积神经网络的RGB-D显著性检测方法，其特征在于对之前四层侧输出赋予不同权值进行加权整合，所述S7步骤包括以下步骤：

将四层的侧输出进行1*1卷积，将四个侧输出结果的通道数都卷积到一个，再将这四个一维通道特征进行串联并进行一次通道全局最大池化。将池化结果作为加权数分别赋予四层侧输出不同权重，最后对赋权后的四个侧输出进行通道串联并进行1*1卷积对通道数进行适配。加权处理后的融合特征作为第一层的上层反馈特征与第一层RGB特征和第一层加强后的深度特征进行一次与S6相同的融合操作。