[发明专利]一种基于动态图卷积和空间注意力的点云语义分割网络

说明书

本发明公开了一种基于动态图卷积和空间注意力的点云语义分割网络，涉及点云语义分割特征提取技术领域。本发明包括以下步骤：输入N个点的F维点云X；构建局部动态图G＝(V,ε)。本发明利用DenseNet思想拼接多个层次的特征来提高网络的拟合能力；通过最大池化和平均池化相结合的池化方法来获得全部局部图上最具有代表性的语义信息；并使用空间注意力机制挖掘空间语义信息，提取点之间的深层次语义相关性；通过移除空间转换网络的同时提出了一种新的边缘特征，降低网络的参数量；设计的GEConv模块可以丰富特征的多样性，引入的空间注意力模块，可以让网络学会关注更多重点信息。

技术领域

本发明属于点云语义分割特征提取技术领域，特别是涉及到一种基于动态图卷积和空间注意力的点云语义分割网络。

背景技术

语义分割是计算机视觉中的一项基本任务，得到了许多研究人员的关注，而这项任务也是三维场景中的一个关键步骤。在研究位于三维空间的物体时，除了形状和位置信息外，我们还关注物体的外观特征。通俗地讲，我们只需要关注点云信息。点云是三维数据的代表之一，对描述点云数据的空间信息的更高层次的语义理解正受到研究人员越来越多的关注。

逐点MLP方法：逐点MLP方法利用共享MLP作为网络的基本单元，同时引入一些专用网络来获取更加广泛丰富的局部结构。

pointnet++[3]将点按不同的层进行分组，并不断地从更大的局部区域中学习。针对点云的不均匀性和密度变化等问题，该网络提出了多尺度和多分辨率的分组方法。Engelmann等[5]利用K-means聚类定义了世界空间以及利用KNN定义了特征空间中的两个邻域，将点与点的距离损失和质心损失引入来实现规范特征学习。RandLA-Net[6]通过利用随机点进行采样，提出了一种新的特征聚合模块用于捕捉和保存局部几何特征，该网络在内存和计算上都取得了非常高的效率。PointWeb[7]利用一个web来寻找一个局部区域内每一对点之间的关系，并提出自适应特征调整(AFA)模块进行信息交换和特征细化。还有一部分网络(Edgeconv[4]和NetVLAD[8])利用局部-全局特征连接来完成针对局部信息和场景级全局特征的捕捉。

基于图的方法：基于图的方法利用图网络来进行对点云形状及几何结构的捕捉。Super point Graph[9]把点云按照简单形状和超点是否关联进行分组，并利用Superpoint Graph来获得结构和上下文信息，可使用于大规模点云中，将其分解为几何均匀分割、上下文分割及超点嵌入的问题进行解决。Landrieu和Boussaha[10]通过一种新的监督框架把点云过度分割为纯超点，并利用对比损失来识别每个物体之间的边界。PyramNet[11]被称为金字塔网络，利用GEM模块把点云表示为有向无环图，利用协方差矩阵来构建相邻相似度矩阵，利用PAN模块使用四个不同大小的卷积核来提取不同的语义特征。GAC[12]可以将可区分的特征进行分割，同时还可以通过不同的邻近点和特征通道的空间位置和特征差异来分配关注度权重，从而学习到局部相邻集合中的相关特征。PointGCR[13]将点云表示为无向图，通过通道维度来获取全局上下文信息。

除了上述方法还有很多其他方法。点卷积方法针对点云提出了有效的卷积算子。KPConv[14]通过到核点的欧几里得距离来决定卷积权值，核点的位置被表述为一个在球体空间的最佳覆盖范围的优化问题，在每一层的过程中使用网格子采样，以完成不同密度点云下的高鲁棒性。3DCNN-DQN-RNN[15]提出了一种膨胀点卷积(DPC)操作来完成聚合膨胀的相邻特征，并非利用K个最近的邻居来聚合，同时也用许多实验去证明感受对聚合方法的性能具有很大影响。利用循环神经网络(RNN)捕捉固有的的上下文特征，也是该领域常用的方法。GB-RCU网络[16]首次通过利用将点块转换为多尺度的块和网格块来得到输入级上下文，并利用PointNet[2]提取到的特征依次输入到综合单位(CU)或者循环综合单位(RCU)来得到输出级上下文，该网络表明了空间上下文对提高分割十分重要。3P-RNN[17]利用逐点金字塔池(3P)模块来得到由粗到细的局部结构，长距离的空间依赖性利用双向的分层RNNs来获得，然后应用RNN来完成端到端的学习。