[发明专利]一种基于多层次特征融合的RGB-D显著性检测方法

说明书

本发明公开了一种基于多层次特征融合的RGB‑D显著性检测方法。该方法能够通过探索多层次差异化特征融合方式，以实现对图片的显著性检测。提出的方法通过设计深度增强模块过滤深度图中的冗余信息，并且从通道和空间维度挖掘有用的信息；通过在高低层次上设计不同的特征融合模块，更好地探索全局信息与局部信息以实现对显著图的准确预测。通过上述方式，本发明主要解决显著性检测中低质量深度图问题和在跨模态融合时各层次采用相同的融合方式问题，属于计算机视觉领域的技术。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于多层次特征融合的RGB-D显著性检测方法。

背景技术

显著性检测旨在让计算机模拟人类视觉，在观察某一区域时总是能挑选出最令人感兴趣的区域或物体。近年来，由于卷积神经网络在特征提取方面的强大能力，基于卷积神经网络的方法被设计出来并在显著目标检测方面表现出优异的性能，其被广泛应用于图像分割、图像字幕、图像编辑(08981965)、图像压缩等。在RGB-D显著性检测中，低质量深度图与跨模态特征融合方法是其中重要的两个问题之一，所以为了解决以上两个问题，提出了一种基于多层次特征融合的RGB-D显著性检测方法。

发明内容

本发明主要解决的技术问题是提供一种基于多层次特征融合的RGB-D显著性检测方法，利用深度增强模块对低质量深度图信息进行过滤，并且在高层次和低层次分别采用不同的融合策略进行特征融合。

一种基于多层次特征融合的RGB-D显著性检测方法，包括以下执行步骤：

S1：通过两个分支输入RGB图片和深度图片；

S2：两个分支采用相同的ResNet50作为主干网络，构成五个特征提取结构层；

S3：对每层主干网络提取到的深度特征都进行深度增强操作；

S4：对第五层所提取到的深度特征和RGB特征通过空洞空间卷积池化金字塔模块捕获多尺度语义信息；

S5：在高层次(第四层、第五层)使用高层特征融合模块对提取到的RGB特征和增强后的深度特征进行特征融合；

S6：在低层次(第一、二、三层)使用低层特征融合模块对提取到的RGB特征和增强后的深度特征进行特征融合；

S7：网络在最低层产生一个最终预测显著图。

所述的S3过程为：将每层提取到的深度图首先进行一次3*3的卷积和ReLU激活操作，将其结果与原深度图进行一次像素级相乘再进行一次通道注意力操作。将通过通道注意力操作的结果与原深度图再进行一次像素级相乘，即可得到增强后的深度图结果。

所述的S5过程为：首先，分别将每层提取到的RGB特征和增强后的深度特征进行一次1*1卷积、批标准化和ReLU激活操作，然后进行一次3*3卷积操作，再将此结果与上层特征融合流进行像素级相加，相加结果再通过一次3*3卷积后得到各高层的特征融合结果。

所述的S6过程为：首先，把RGB特征和增强后的深度特征送入3*3卷积层中，再将两个结果相乘以进行特征融合变换；然后将得到的跨模态结果再进行一次3*3卷积和Sigmoid激活。最后，将上层跨模态融合特征作为残差信息与上述结果进行像素级相加，再通过一次通道注意力操作后，即可得到各低层的特征融合结果。

本发明的有益效果是：

1：本发明使用的是完全卷积网络，可实现一个端到端的可对任意大小尺寸图片进行检测的模型。

2：本发明使用的深度增强模块，能够有效地过滤低质量深度图信息，并对有益深度特征进行特征增强。

3：本发明在高层次和低层次分别采用了不同的融合策略，能够有效地对高层中的全局信息和低层中的局部信息进行整合，更加精准的对显著图进行预测。

附图说明