[发明专利]一种构建自我监督点云学习的语义扰动重构网络的方法

说明书

本发明公开一种构建自我监督点云学习的语义扰动重构网络的方法。该方法包括：构建语义扰动重构网络，其基本分支包括第一特征提取网络和第一预测网络，第一特征提取网络以点云为输入，提取局部特征和全局特征，第一预测网络用于点云重建和法向估计；扰动分支包括第二特征提取网络和第二预测网络，第二特征提取网络以语义扰动的点云为输入，提取局部特征和扰动点云的全局特征，第二预测网络用于点云重建；优化损失函数为目标训练语义扰动重构网络，训练过程中，第一特征提取网络和第二特征提取网络共享权重，并通过点云一致性损失的约束进行无监督学习，以利用扰动分支来引导基本分支进行特征学习。本发明能获得更精确的点云数据自监督分析结果。

技术领域

本发明涉及点云分析技术领域，更具体地，涉及一种构建自我监督点云学习的语义扰动重构网络的方法。

背景技术

受自主驾驶、机器人、增强或混合现实中的应用程序驱动，促进机器了解3D世界已成为一个至关重要的趋势。在3D形状的多个表示形式中，3D点云已成为近年来最受欢迎的3D形状之一，并且分析具有深度学习模型的点云已成为一个研究热点。

点云分析可以应用于各种下游任务，如分类，分割，注册，对象检测等，点云分析的进展主要受全监督深度学习方法驱动，然而，这种方法需要大量手动注释的监督信息，这对于实际应用来说可能是昂贵和不可行的。因此，希望以自我监督的方式获得3D点云的鉴别意义。

在现有技术中，自监督方法主要是通过产生或重建任务，例如提供头任务自重建，局部到全局重建和分布估计等。这些方法倾向于学习当地的几何结构和轮廓，性能仍然与完全监督的方法有一定程度的差距。

参见图1所示，其中图1(a)是完全监督学习，图1(b)是现有的自监督学习，以拍摄飞机的点云分割任务为例，通过点特征响应程度去表示不同的颜色。由于飞机的全监督信号(部件信息)，从完全监督方法中的特征可以清楚地代表每个部分的区别。全监督方法可以利用飞机部分原始事实所提供的监督信息，清楚地区分每个部分。相比之下，对于自我监督方法，仅给予密度点云的3D坐标，重建任务通常更容易捕获对象的局部结构和轮廓信息，同时忽略对象语义内容信息的区别。由图1可以看出，监督学习的点云特征明显反映了机身与飞机机翼之间的差异，而现有的自我监督方法中，飞机翼轮廓的点云特征表示清晰，但飞机机身和机翼内的特征不能区分，因此目前基于自我监督的点云分析法还有待进一步改进。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种构建自我监督点云学习的语义扰动重构网络的方法，是通过自我监督方式分析3D点云的新技术方案。

根据本发明的第一方面，提供一种构建自我监督点云学习的语义扰动重构网络的方法，该方法包括：

构建语义扰动重构网络，其包括基本分支和扰动分支，其中基本分支包括第一特征提取网络和第一预测网络，第一特征提取网络以整个点云作为输入，提取局部特征和全局特征，第一预测网络基于所提取的局部特征和全局特征进行点云重建和法向估计；扰动分支包括第二特征提取网络和第二预测网络，第二特征提取网络以语义扰动的点云作为输入，提取对应的局部特征和扰动点云的全局特征，第二预测网络基于所提取的局部特征和全局特征进行点云重建；

以优化设定的损失函数为目标训练所述语义扰动重构网络，其中训练过程中，第一特征提取网络和第二特征提取网络共享权重，并通过点云一致性损失的约束进行无监督学习，以利用扰动分支来引导基本分支进行特征学习。

根据本发明的第二方面，提供一种点云分析方法。该方法包括：采集点云数据输入到根据本发明训练的语义扰动重构网络的基本分支，获得预测的法向量估计结果或点云数据对应的类别。

与现有技术相比，本发明的优点在于，提供用于自动监督点云特征学习的通用语义扰动重建网络，其基于扰动点云重建和特征一致性学习，使网络模型更加关注语义内容信息，削弱模型对易于学习的轮廓和局部几何信息的过度关注。