[发明专利]点云多视角特征融合方法及装置

说明书

本申请实施例涉及点云处理技术领域，提供了一种点云多视角特征融合方法及装置，点云多视角特征融合方法包括：根据待融合点云的垂直视场范围和水平视场范围，构建待融合点云的三维极坐标空间，并将三维极坐标空间划分为三维极坐标栅格；将待融合点云中的每个点分别映射到三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；将前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出前视图栅格和俯视图栅格的提取特征，对前视图栅格和俯视图栅格的提取特征进行融合，获取融合结果。本申请实施例提升了点云多视角特征融合效果。

技术领域

本申请涉及点云处理技术领域，尤其涉及一种点云多视角特征融合方法及装置。

背景技术

以点云作为输入的三维目标检测方法，一般使用图像方面成熟的卷积神经网络提取点云的特征。因此需要克服点云无序性特点和卷积神经网络需要规则尺寸输入的难点。构造点云栅格特征作为卷积神经网络的输入是主流的特征构造方法。而所构造的栅格特征很稀疏，因此通常办法是使用多帧叠加或者多视角特征融合来增加特征信息。

MVLidarNet(Multi-View LidarNet，多视角激光雷达)算法将点云分别使用前视图和俯视图栅格特征映射，其中前视图特征使用语义分割网络提取语义信息，然后投影到俯视图栅格，结合俯视图栅格特征进行目标检测。该算法是一种非端到端网络，需要分成两阶段训练。主体目标检测部分以俯视图栅格特征为主，虽然结合了前视图的语义特征，但是由于点云近密远疏的特性，俯视图栅格特征仍然很稀疏。

MVF(Multi-View Fusion，多视图融合)算法是一种点云多视角目标检测算法，使用端到端训练的方法，在提取前视图栅格和俯视图栅格特征后，使用卷积神经网络分别提取特征，然后映射回每一个点上进行融合。最后使用带有融合特征的点，基于三维目标检测算法进行检测。该算法中前视图栅格使用球形投影，俯视图使用矩形栅格投影。其中前视图栅格具有近小远大感受野，而俯视图栅格感受野不受距离影响，两者感受野不一致，在融合时有所差异。此外，主体目标检测部分是以俯视图栅格特征为主，由于点云近密远疏的特性，俯视图栅格特征很稀疏。

综上所述，现有的点云多视角特征融合方法将前视图和俯视图栅格特征进行融合，这两种栅格特征感受尺度不一致，融合效果欠佳。此外，由于点云近密远疏的特性，俯视图栅格的矩形栅格信息很稀疏，影响融合效果。而融合效果直接关系到点云目标检测的准确度。

发明内容

本申请提供一种点云多视角特征融合方法及装置，以实现提升点云多视角特征融合的效果，进而提高点云目标检测的准确度。

本申请提供一种点云多视角特征融合方法，包括：

根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；

将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；

将所述前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果。

根据本申请提供的一种点云多视角特征融合方法，所述根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，包括：

根据所述待融合点云的垂直视场范围和水平视场范围，获取所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽；

根据所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽，构建所述待融合点云的三维极坐标空间。