[发明专利]基于RGB-D的相同形状不同尺寸目标的语义分割方法

说明书

基于RGB‑D的相同形状不同尺寸目标的语义分割方法，包括：1，制作RGB‑D数据集，该数据集包括RGB图像、深度图像，对图像中的每个目标做好标注，区分目标的尺寸类别；2，构建语义分割模型网络，并训练该模型，得到预测的目标类别、包围盒与像素位置；3，通过深度图像与目标类别、包围盒与像素位置相结合，得到目标的点云；4，通过点云获得目标的尺度特征图；5，将得到的尺度特征图输入到尺寸分类网络中，训练尺寸分类模型，得到预测的目标的尺寸；6，综合步骤2、5的结果得到目标的准确语义分割结果。本发明不仅可以预测相同形状不同尺寸的目标的类别、包围盒与像素位置，还可以通过尺度特征图预测目标的尺寸。

技术领域

本发明属于计算机视觉与图像处理领域，具体涉及一种基于RGB-D的相同形状不同尺寸的目标的语义分割方法。

背景技术

图像语义分割是图像处理过程中的一个重要研究内容，目的是为图像中的每一个像素分配一个预先定义好的表示其语义类别的标签。卷积神经网络(ConvolutionalNeural Networks,CNN)的出现及快速发展，使图像分割领域取得了巨大的突破，不再依靠人工编写提取器的方式，具有更高的效率及更高的适应性。

MASK-RCNN能够同时完成目标分类，目标检测与目标的像素级分割任务，并且具有较高的精确度，成为现在的语义分割的主流方法，但是因为RGB图像的局限性，很难依据尺寸不同对相同形状的零件进行分类。

发明内容

针对普通RGB图像的语义分割难区分相同形状不同尺寸目标的问题，本发明提出了一种基于RGB-D图像的针对相同形状不同尺寸目标的语义分割方法，用于训练对形状相同尺寸不同目标的语义分割模型。具体为，通过语义分割模型获得目标的类别、包围盒和像素位置，结合深度图像生成点云，再由点云计算出尺度特征图，根据尺度特征图区分目标的尺寸，最后得出目标的语义分割结果。

本发明旨在提供一种基于RGB-D的针对相同形状不同尺寸目标的语义分割方法，通过语义分割后由深度图像生成点云转化的尺度特征图输入尺寸分类模型来预测目标的尺寸。为此，本发明提出了尺度特征图的概念，设计了相应的网络架构与训练方法。

一种基于RGB-D的相同形状不同尺寸目标的语义分割方法，包括以下步骤：

步骤1：制作RGB-D数据集，该数据集包括RGB图像(A1)、深度图像(A2)，并对图像中的每个目标做好标注，标注中包括目标的类别、像素位置，并通过标注的像素值区分目标的尺寸类别；

步骤2：构建语义分割模型网络，将数据集中的RGB图像(A1)及其预先标注的语义分割信息输入到语义分割网络之中，训练语义分割模型，得到预测的目标类别(B1)、包围盒(B2)与像素位置(B3)；

步骤3：通过深度图像(A2)与得到的目标类别(B1)、包围盒(B2)与像素位置(B3)相结合，得到目标的点云；

步骤4：通过得到的点云获得目标的尺度特征图；

步骤5：构建尺寸分类网络，将得到的尺度特征图输入到尺寸分类网络中，训练尺寸分类模型，得到预测的目标的尺寸；

步骤6：将步骤2与步骤5的结果同时在原图像中显示出来，得到目标的准确语义分割结果。

所述基于RGB-D的相同形状不同尺寸目标的语义分割方法，其中：

所述步骤2中的语义分割模型网络结构为MASK-RCNN；预先标注的语义分割信息，包含所述训练图像(A1)的每个像素的物体类别信息、像素位置信息与尺寸信息；所述语义分割模型包含一个MASK-RCNN语义分割模型，一个尺寸分类模型。

所述步骤4中由点云生成尺度特征图的方法，按以下步骤进行：

首先将目标点云中的点坐标值相加后取平均值，计算目标的重心坐标；