[发明专利]一种基于多层特征金字塔的点云3D物体检测方法

权利要求书

1.一种基于多层特征金字塔的点云3D物体检测方法，其特征在于，该检测方法包括以下内容：

在VoteNet网络的基础上，同样是以点云作为输入，在PointNet++骨干网络上产生多层特征金字塔来获得多个点云特征层，这些点云特征层分别配备一个投票模块，获得深度霍夫投票的同时也将其映射到同一个特征空间，然后进行特征融合形成投票簇。

2.根据权利要求1所述的检测方法，其特征在于，在多层特征金字塔的最下面一层同时也是点的数量最多的一层进行前、背景点分割来获得前景点，接着把特征融合形成的投票簇和这部分前景点的坐标与特征送入到Back-tracing模块获得代表点，以每一个代表点为中心实施PointNet++的一个SA层来进一步提取这部分前景点的特征，最终将投票簇的特征和提取到的前景点的特征相结合做预测来得到物体包围框和语义标签的预测。

3.根据权利要求2所述的检测方法，其特征在于，在多层特征金字塔的最下面一层进行前背景点分割，将最下面一层的点的特征送入到一个三层的MLP得到前、背景点的预测得分，取前景点的预测得分大于背景点的预测得分的这些点为前景点；使用交叉熵损失函数来指导和优化前背景点的分割；

得到前景点后，通过Back-tracing模块对投票簇先进行一次物体包围框的大致回归，包围框的六个面的中心点就是代表点，以得到的代表点为中心进行球查询得到个num_proposals*6个local regions ofpoints，使用shared-MLP对这些local region的前景点进一步提取特征；属于同一个proposal的local region的特征会被连接在一起，这样就完成了对前景点特征的进一步提取，并提取到num_proposals*C的特征，即为前景点的特征；

从分割后获得的前景点进一步提取到的前景点的特征和投票簇的特征相结合送入到提案模块并紧接着进行3D NMS来最终得到预测的物体的3D包围框和物体种类。

4.根据权利要求1所述的检测方法，其特征在于，所述VoteNet网络由三个主要部分组成，包括点云特征提取、投票和目标推荐及其分类；其中PointNet++用作点云特征提取的骨干网络进行种子点采样，并从输入点云中提取种子点的高维特征；投票模块将种子点及其特征作为输入，并经过回归预测种子点所属目标的中心点，中心点的预测由一个多层感知器(MLP)模拟霍夫投票过程；然后，通过对中心点进行分组来生成聚类，并形成目标候选，然后从中预测出目标的3D包围框并通过另一个MLP层对目标类别进行判断，最后由3D-NMS去除所有预测的3D包围框信息的重叠冗余部分。

5.根据权利要求1所述的检测方法，其特征在于，所述多层特征金字塔的点云特征层P4,P3,P2,P1层点的个数与坐标和它相对应的PointNet++骨干网络中的四个SA层上点的个数与坐标保持一致；首先输入的点云尺寸为N*3，N是一个场景点云中点的个数，3代表xyz坐标，每一个点都有它的3D坐标，将这些点依次送入4个点集抽象层SA1,SA2,SA3,SA4层进行下采样和提取点云特征，每一层的采样点数分别为2048,1024,512,256，然后就开始；

同时，P4到P3与P3到P2也是一个上采样的过程，P4,P3,P2每一层点的个数分别为256,512,1024；将SA4层点的特征送入一个三层的MLP得到P4层点的特征，在调整特征维度的同时进一步整合高层语义特征，得到P4层上点的特征；然后，在得到P3、P2和P1层上点的特征方面，以P3层为例，P3层点的输入来自于两个输入，即P4层的输出和SA3层的输出，使用PointNet++中的插值操作来从P4层获得一部分特征，将对应的SA3层的特征全部复制过来得到第二部分特征，这两部分特征在特征维度上拼起来后，送入一个MLP来调整特征的维度和整合特征，获得P3层上点的特征；同样的方法获得P2层和P1层点的特征；至此，搭建好多层特征金字塔，每一层的点云特征层上的点的特征长度都保持一致，能将这些特征投票到同一个特征空间。