[发明专利]一种基于多尺度监督的三维场景点云分割方法

说明书

本发明属于计算机视觉领域，具体涉及一种基于多尺度监督的三维场景点云分割方法。本发明引入多尺度监督的方式，通过对解码器每层进行额外的监督学习，判断隐藏层特征图质量的好坏，从而提高网络整体分割精度，促使网络隐藏层学习到的特征易区分、更具鲁棒性，进而改善网络对物体边缘的分割效果，广泛适用于大型室内点云语义分割。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于多尺度监督的三维场景点云分割方法。

背景技术

随着无人驾驶、计算机视觉、人工智能等领域的快速发展，深度传感技术日益成熟，激光点云的数量和质量显著增加，三维点云的语义分割在计算机视觉领域引起了越来越多的关注。与二维图像相比，点云数据为场景理解带来了深度信息，使得机器能够更好的识别现实世界。但点云数据具有非结构性、无序性、信息不完整和密度不一致等缺点，难以将常规卷积操作应用在点云处理中，自动、有效利用点云语义分割认知客观世界是一项富有挑战性的工作。

近些年来，随着大型三维点云数据集的出现以及计算机硬件的更新换代，国内外研究人员提出了众多基于深度学习的点云分割网络。2017年Qi等人提出的PointNet网络，能够直接在点云数据上进行特征学习，利用共享感知机捕获逐点特征，通过最大池化获取全局特征，但忽略了局部特征的学习。为了加强局部特征提取能力，Qi等人在PointNet的基础上提出了PointNet++，采用分层的思想，对每一层进行采样和特征学习，逐步扩大感受野进而聚合局部特征。由于特征学习阶段采用的是PointNet网络，并未考虑到点与点之间的几何联系，导致网络未能充分捕获局部特征细节。2019年Zhao等人提出了PointWeb，通过自适应特征调整模块在每个成对的3D点之间交换信息，增强局部邻域的表示能力。2021年Fan等人提出SCF-Net，将点云以极坐标形式表示，利用双距离注意力池化模块，基于几何距离和特征距离自动学习有效的局部特征，通过全局上下文特征模块学习每个3D点的全局上下文信息，在室内场景的语义分割中取得了很好的效果，但可视化结果表明，网络对于目标的轮廓边界预测结果较差。针对场景边界分割表现不佳这一问题，2022年Tang等人提出CBL，引入了对比边界学习的概念，以明确优化边界上的特征，提升模型在边界上的性能，进而提高网络的整体性能。

已有的研究工作取得了许多成果和进展，但还存在需要进一步研究和解决的问题：基于深度学习的模型大多采用编码器-解码器架构，网络仅由最后一层中的点云语义标签监督，而其它层中的隐藏单元缺乏直接监督，无法提取具有明确语义信息表示的特征，继而使得3D点云的分割精度低、分割效果欠佳。

发明内容

基于上述背景，本发明的目的在于解决3D点云的分割精度低、分割效果欠佳的问题，提出了一种基于多尺度监督的三维场景点云分割方法，通过引入多尺度监督的方式，使得隐藏层学习过程直接透明，提升网络模型的分割能力，达到对3D点云进行准确、高效分割的技术效果。

为实现上述目的，本发明是通过以下技术方案来实现：

第一方面，本发明提供了一种基于多尺度监督的三维场景点云分割方法，包括以下步骤：

步骤1：获取点云数据并对其进行旋转、平移操作；

步骤2：构建基于多尺度监督的点云分割网络模型；

步骤3：将步骤1获得的点云数据连同标签信息输入步骤2获得的模型进行多尺度监督语义分割。

进一步地，所述网络模型遵循编码器-解码器结构；所述编码器对输入点云进行语义特征提取，对标签进行类别信息向量提取，所述语义特征提取与类别信息向量提取共享下采样；所述解码器采用上采样技术恢复输入分辨率，同时对每层特征进行预测，并利用编码阶段生成的类别信息向量作为标签，对多个不同尺度的解码特征进行监督，指导网络特征的学习，最后通过全连接层为每个输入点云分配一个语义类别。

进一步地，所述编码器利用SCF-Net作为主干网络提取点云特征。