[发明专利]基于互补的多分支深度学习进行三维点云分类方法

说明书

本申请公开了一种基于互补的多分支深度学习进行三维点云分类方法，该方法包括：获取待标记的三维点云数据集；将该三维点云数据集进行特征分类，所述特征分类包括局部特征、全局特征以及逐点特征；将所述局部特征、所述全局特征以及所述逐点特征串联在一起。本申请提供的上述方案，利用局部特征、全局特征以及逐点特征的鲁棒性，从而使模型在现实世界的数据集上能够取得良好的性能。

技术领域

本发明涉及点云分类技术领域，具体涉及一种基于互补的多分支深度学习进行三维点云分类方法、装置、设备及其存储介质。

背景技术

自动驾驶需要精确而高效的3D点云处理技术，其中深度学习已显示出巨大的潜力。但是，大多数现有的作品在合成数据中虽然可以达到很高的精度，但是在现实世界的数据集中却不能令人满意，同时，尽管现有的基于多视图，基于体积和基于点的方法已经取得了可喜的成果，但是它们仍然遭受着高计算复杂度或低内存利用效率的困扰。例如，基于多视图和基于体积的方法的计算时间和内存消耗随输入分辨率的增加而最多呈立方增加，而基于点的方法的由于它们不规则的内存访问，浪费了运行时间。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种基于互补的多分支深度学习进行三维点云分类方法、装置、设备及其存储介质。

第一方面，本申请实施例提供了一种基于互补的多分支深度学习进行三维点云分类方法，该方法包括：

获取待标记的三维点云数据集；

将该三维点云数据集进行特征分类，所述特征分类包括局部特征、全局特征以及逐点特征；

将所述局部特征、所述全局特征以及所述逐点特征串联在一起。

在其中一个实施例中，所述局部特征包括：

基于Kernal-Point卷积法从所述三维点云数据集中选取第一预设数量个点；

对于每个点，利用点云特征提取在特定半径内选择其相邻点作为输入；

将每个点与具有不同权重的预定义内核点进行卷积。

在其中一个实施例中，所述全局特征包括：

在组合球形卷积中，利用网格法线和射线之间的每个交点的角度来增加原始数据；

构建角度特征；

通过插值，使得每个网格都包含一个值，该值指示球体与点之间的距离；

根据距离信息，计算点云的形状。

在其中一个实施例中，所述逐点特征包括：

利用MLP层提取点状特征；

最大池化层以聚合所述点状特征。

第二方面，本申请实施例还提供了一种基于互补的多分支深度学习进行三维点云分类装置，该装置包括：

获取单元，用于获取待标记的三维点云数据集；

分类单元，用于将该三维点云数据集进行特征分类，所述特征分类包括局部特征、全局特征以及逐点特征；

串联单元，用于将所述局部特征、所述全局特征以及所述逐点特征串联在一起。

在其中一个实施例中，所述局部特征包括：

选取单元，用于基于Kernal-Point卷积法从所述三维点云数据集中选取第一预设数量个点；

提取单元，用于对于每个点，利用点云特征提取在特定半径内选择其相邻点作为输入；

卷积单元，用于将每个点与具有不同权重的预定义内核点进行卷积。