[发明专利]一种基于多特征信息增强编码的三维点云语义分割方法

说明书

本发明公开了一种基于多特征信息增强编码的三维点云语义分割方法。该发明可以进一步增强以PointNet++为代表的三维点云语义分割算法在不同应用场景下的性能。PointNet++网络在编码过程中，只是单纯的利用点和中心点的坐标差作为局部空间的几何信息构建显然是不够充分的。同时，对于点的附加信息，PointNet++网络直接将其和几何信息进行共同编码，这是一种对于点云附件信息的不恰当使用，点云信息在其中的作用很小。本发明提出的基于多特征信息增强编码的三维点云语义分割方法，添加点与中心点的原始坐标和欧式距离等信息，与坐标差共同进行局部空间的特征聚合，并将点的附加特征和几何特征分开编码，重新设计了一种基于点云多类特征的信息编码增强结构。

技术领域

本发明属于计算机三维点云语义分割领域，是基于深度学习的方法实现三维点云的语义分割。

背景技术

近年来，针对三维信息的研究等工作开始得到越来越多的科研工作者的重视。三维点云语义分割是将点云中的每个点按照各自的类别进行语义的划分，对同一类别的点进行相同的标注。随着三维数据获取的难度变小，基于三维数据的技术开始逐渐发展，也已经开始应用在自动驾驶、智能机器人、遥感和医疗等领域中。点云语义分割算法是三维点云处理的重要方向之一，传统的点云分割方法精度不高，且存在局限性。因此，基于深度学习的三维点云语义分割方法开始逐渐涌现。目前经典的基于深度学习的方法大多是对点数据进行处理，直接对不规则点云进行处理，本发明主要关注逐点MLP(Pointwise Multi-LayerPerceptron)方法。逐点MLP方法效率较高，它是利用了共享MLP作为网络的基本结构。其中，PointNet研究了点云数据的特性，并根据点云的特性设置了专属的网络模型，它首先使用了MLP网络来进行点云特征的升维，将点的信息提升到高维空间中，然后采用最大池化来对提取到的高维特征进行提取，得到了点云的整体特征，中间步骤进行升维的特征就是点自身的局部特征。PointNet++在原有PointNet的基础上对于局部特征的构建提出了更加有效的方法，它利用了点的邻域空间，利用下采样的方式同时构建每个采样点的局部空间，对每个局部空间利用PointNet的基础结构进行空间的特征提取，之后在进行对应的上采样特征插值，最后得到了每个点的特征，这些特征包含了点的几何空间信息。PointNet++网络在编码过程中，只是单纯的利用点和中心点的坐标差作为局部空间的几何信息构建显然是不够充分的。同时，对于点的附加信息，PointNet++网络直接将其和几何信息进行共同编码，这是一种对于点云附件信息的不恰当使用，点云信息在其中的作用很小。

发明内容

为了克服上述基于深度学习的三维点云语义分割方法在编码过程的不足，本发明提出了一种基于多特征信息增强编码的三维点云语义分割(SG-PointNet++)方法。该方法以PointNet++为基础框架，如图1所示，对其在编码过程中利用多特征信息增强进行改进，完成了SG-PointNet++的构建。其中，S代表Separate，表示将几何特征和附加信息的特征进行分开编码，G代表了几何信息增强(Geometric information enhancement)，其同样在编码层的局部空间进行处理。PointNet++网络在编码过程存在的问题和本发明的改进方法如图2所示。在编码层的局部空间进行几何特征聚合的过程中，本发明对该部分进行了局部空间几何信息编码增强，构建了GEO-PointNet模块，针对编码过程中，PointNet++网络对点的附加信息处理不完善的问题，本发明提出了将点的附加特征和几何特征分开编码的方法，构建了SEP-PointNet模块。结合本发明对PointNet++网络的改进，设计了SG-PointNet++网络，技术路线如图3所示。

本发明采用的技术方案是基于多特征信息增强编码的三维点云语义分割方法，该方法包括：