[发明专利]一种基于语义错误修正的3D点云实例分割方法

说明书

本发明公开了一种基于语义错误修正的3D点云实例分割方法，属于3D点云实例分割技术领域。本发明主要侧重于减少语义分割错误与修正错误语义分割对实例分割带来的影响。引入了困难语义分割样本修正模块，以提高对困难语义样本的语义预测准确度。此外，还提出了集合软聚类模块，摒弃了将语义预测作为硬性要求的传统聚类方法，使网络具备了在语义预测出错情况下正确预测出实例聚类的修正能力。经数据集验证，本发明是一种效率相当高的点云实例分割方法。

技术领域

本发明属于3D点云实例分割技术领域，具体涉及一种基于语义错误修正的3D点云实例分割方法。

背景技术

随着激光雷达和计算机视觉技术的发展，点云的3D场景理解任务越来越受到关注，特别是像3D点云实例分割。一方面，它具有广泛的应用，作为一项基础研究，它可以应用于许多领域，如医疗、避障、自动驾驶和增强现实。另一方面，它的实现难度也比较高。与点云语义分割相比，点云实例分割不仅需要预测每个点云的语义标签，还需要预测点云所属实例的标签。

大多数点云实例分割方法采用自下而上的结构。基于点云特征预测语义标签和中心偏移向量，将点云利用中心偏移向量移动到其所属实例中心点附近，并具有相同语义标签的点云根据聚类半径进行聚类得到实例预测结果。基于语义预测的点云实例分割算法在语义预测的基础上取得了较好的实例分割结果。然而，语义预测虽然有助于提高实例分割下限，但另一方面却限制了实例分割的上限。事实上，语义分割的准确性已经成为限制实例分割结果的最重要因素之一。一旦点云的语义标签预测出错，那么后续的聚类无法便无法将其分类到正确的聚类中，从而无法得到正确的实例标签。

卷积结构广泛用于二维图像神经网络，由于点云自身的稀疏性和无序性，不能直接在点云的深度神经网络中应用卷积运算。点云的深度学习方法主要分为三类，包括基于多视图、基于点云和基于体素。基于多视图方法将点云投影到2D空间中进行处理，从而可直接在传统2D网络中进行处理。基于点云方法直接处理点云，例如PointNet和PointNet++。PointNet使用多层感知机(MLP)和最大池化从点云中提取全局特征和局部特征。PointNet++则将PointNet模块化，通过采样插值构建了层次网络，提高了获取局部特征的能力。基于体素方法对点云进行体素化，使得可以在在有序空间中使用卷积操作对点云进行处理。大多数基于体素的方法都选择SSCN(Submanifold Sparse Convolutional Network)作为其骨干网络，构建了U-Net风格的网络结构，并利用子流式稀疏卷积来保持点云的稀疏性并提高计算效率。

不基于语义的点云实例分割算法通常首先生成目标提案，然后为提案预测掩膜，其中2D图像领域中的Mask-RCNN就是一个典型例子。除此之外，3D-SIS结合了RGB-D图像的颜色特征和3D空间的空间特征。3DBoNet则从2D图像实例分割中引入了边界框的思想，提出了3D边界框用于点云实例分割。

基于语义的点云实例分割算法利用主干网络从点云中提取特征，对特征空间中的点云进行语义预测，并将具有相同语义预测标签的点云聚类，从而得到实例分割结果。例如，PointGroup将原始点云的聚类结果与移位后的点云相结合，然后通过评分网络选择最优的聚类结果。OccuSeg利用点云自身三维数据的优势，使用实例占用来约束点云集的合并。GICN通过引入高斯分布来预测实例的中心点。HAIS构建层次化的网络结构，并逐层逐步优化聚类。SSTNet引入语义超点树，构建语义超点树后，沿构建路径分离节点，将最终节点作为实例分割结果。