[发明专利]基于RGB-D的相同形状不同尺寸目标的语义分割方法

权利要求书

1.一种基于RGB-D的相同形状不同尺寸目标的语义分割方法，其特征在于，包括采用以下步骤：

步骤1：制作RGB-D数据集，该数据集包括RGB图像、深度图像，并对图像中的每个目标做好标注，标注中包括目标的类别、像素位置，并通过标注的像素值区分目标的尺寸类别；

步骤2：构建语义分割模型网络，将数据集中的RGB图像及其预先标注的语义分割信息输入到语义分割网络之中，训练语义分割模型，得到预测的目标类别、包围盒与像素位置；

步骤3：通过深度图像与得到的目标类别、包围盒与像素位置相结合，得到目标的点云；

步骤4：通过得到的点云获得目标的尺度特征图；

步骤5：构建尺寸分类网络，将得到的尺度特征图输入到尺寸分类网络中，训练尺寸分类模型，得到预测的目标的尺寸；

步骤6：将步骤2与步骤5的结果同时在原图像中显示出来，得到目标的准确语义分割结果。

2.根据权利要求1所述的语义分割方法，其特征在于，所述步骤2中的语义分割模型网络结构为MASK-RCNN；预先标注的语义分割信息，包含所述训练RGB图像的每个像素的物体类别信息、像素位置信息与尺寸信息；所述语义分割模型包含一个MASK-RCNN语义分割模型，一个尺寸分类模型。

3.根据权利要求1所述的语义分割方法，其特征在于，所述步骤4中由点云生成尺度特征图的方法，按以下步骤进行：

首先将目标点云中的点坐标值相加后取平均值，计算目标的重心坐标；

然后计算目标点云中每个点到重心的欧式距离；

最后将得到的欧式距离映射到一张灰度图像中，该灰度图像称为尺度特征图。

4.根据权利要求1所述的语义分割方法，其特征在于，所述步骤5中的尺寸分类模型网络为ResNet；尺寸分类模型的损失函数为Focal Loss。