[发明专利]一种基于深度特征增强和边缘优化的RGB-D图像语义分割方法

说明书

本发明针对RGB‑D图像的场景理解问题，提出了一种基于深度特征增强和边缘优化的RGB‑D图像分割方法，属于计算机视觉领域。本发明首先使用以Mask‑RCNN为主干的神经网络提取RGB‑D图像的彩色通道特征；然后设计了一种深度特征增强网络提取深度通道特征并与彩色特征进行融合；最后设计了一种基于随机游走的网络结构来对主干网络输出的分割结果进行边缘优化。本发明具有语义抽象程度高，特征融合充分，分割边缘清晰等优点。

技术领域

本发明针对RGB-D图像的场景理解问题，提出了一种基于深度特征增强和边缘优化的RGB-D图像分割方法。本发明首先设计了一种深度特征增强网络提取深度通道特征，并与ResNet提取的彩色通道特征相融合；然后使用了一种基于目标预检测的方法对图像进行分割；最后设计了一种基于随机游走的网络结构来对网络输出的分割结果进行边缘优化。本发明属于计算机视觉领域，具体涉及深度学习，图像分割等技术。

背景技术

数字图像在人们的交流和生产活动中扮演着越来越重要的角色。随着信息传递效率的增加，每天都会生成海量的图像数据。计算机技术的发展为处理并理解海量的图像数据提供了可能性。图像分割技术能根据图像各部分包含信息的不同，将图像分割为多个语义区域，在医疗、教育、遥感等领域发挥着重要的作用。RGB-D图像相较于传统的RGB三通道图像，增加了描述场景中物体距离的深度通道，增加了图像的信息量。本发明为了充分利用深度通道以增加图像分割的准确率，设计了一种基于深度特征增强和边缘优化的RGB-D图像分割方法。

传统的图像分割算法通常利用图像的灰度、颜色、纹理等特征来将图像简单地划分，难以对图像信息进行全面的描述，且无法对区域所属类别进行标注。基于深度学习的分割算法弥补了传统分割算法的缺陷，能自动对图像提取特征并标注分割区域所属类别。RGB-D图像包含了额外的深度通道，提供了场景中物体的几何信息，能够在光线、颜色等区分不明显的情况下仍保有较明显的边界。深度通道中相同类别的像素深度值趋于相似。这种特性使得深度通道能够为神经网络的训练提供先验信息。为了能更好地提取这种先验信息，本发明设计了一种深度特征增强网络来提取深度通道的特征，将其与ResNet网络提取彩色通道特征相融合，构建特征金字塔。

传统的神经网络分割算法采用单级的分割架构，缺乏高级信息的指导。MaskRCNN中采用先进行目标预检测，再对目标区域进行分割的双级检测架构，能有效利用场景中物体的高级信息。因此，本发明基于MaskRCNN种的分割逻辑，使用了一种基于目标预检测的分割方法对图像进行分割。

在神经网络提取特征的过程当中，为了得到旋转不变的特征，通常在网络中加入最大池化层(maxpooling)。最大池化层增加了网络的鲁棒性，但是其过程类似于下采样，会造成特征信息的损失。为了弥补最大池化层的信息损失，本发明通过原始图像计算出转移矩阵，将分割的优化视作一种随机游走过程，从而设计了一种随机游走网络来优化分割结果，增强分割边缘的准确性

发明内容

本发明针对RGB-D图像的场景理解问题，设计了一种基于深度学习的RGB-D图像分割框架。首先，为了弥补传统分割算法的局限性，提取更加鲁棒的特征，并充分深度通道提供的先验信息，本发明设计了一种基于ResNet网络和深度特征增强网络的特征提取方法；其次，为了充分利用场景中物体提供的高级信息，本发明使用了一种基于目标预检测的图像分割方法。最后，为了解决最大池化层的信息损失问题，本发明设计了一种随机游走网络对原始的分割结果边缘进行优化。本发明的主要流程可分为以下三个步骤：基于ResNet网络和深度特征增强网络的特征提取；基于目标预检测的图像分割；基于随机游走网络的分割结果优化。

(1)基于ResNet网络和深度特征增强网络的特征提取