[发明专利]一种基于点融合网络的三维物体检测方法

摘要

本发明中提出的一种基于点融合网络的三维物体检测方法，其主要内容包括：点云网络、融合网络、密集融合预测评分函数，其过程为，点云网络模型摄取原始点云，学习每个点的空间编码和聚合全局点云特征，将这些特征用于分类和语义分割，融合网络将采用卷积神经网络提取的图像特征和点融合网络的子网络产生的对应点云特征作为输入，它将这些函数组合起来并为目标对象输出一个三维边界框，用监督评分函数直接训练网络，预测点是否在目标边界框内，而无监督评分函数能帮助网络选择最佳预测点。本发明可以直接学习将图像和深度信息最优化地结合起来，避免了量化或投影等有损输入预处理，具有一般适用性，且其准确度也大大提高。 1

主权项

1.一种基于点融合网络的三维物体检测方法，其特征在于，主要包括点云网络(一)；融合网络(二)；密集融合预测评分函数(三)。

2.基于权利要求书1所述的点融合，其特征在于，点融合有三个主要组成部分：提取点云特征的点融合网络变体、提取图像外观特征的卷积神经网络(CNN)、组合两个特征并输出三维边界框的融合网络。

3.基于权利要求书1所述的点云网络(一)，其特征在于，点融合网络首先使用对称函数(最大池)来实现无序3D点云集的不变性处理；该模型摄取原始点云，并学习每个点的空间编码以及聚合的全局点云特征，将这些特征用于分类和语义分割；

点融合网络能直接处理原始点，而不需要体素化或投影的有损操作，并且与输入点的数量成线性关系，但原始的点融合网络公式不能用于3D回归，因此需要进行去批量归一化和输入归一化。

4.基于权利要求书3所述的去批量归一化，其特征在于，在原始的点融合网络实现中，所有全连接层都跟着一个批量归一化层；但批量归一化妨碍了三维边界框的估计性能；批量归一化旨在消除输入数据中的尺度和偏差，但对于3D回归任务，点位置的绝对数值是有帮助的；因此，点融合网络变体删除了所有的批量归一化层。

5.基于权利要求书3所述的输入归一化，其特征在于，通过查找场景中可投影到框上的所有点获得图像边界框的相应3D点云；然而，3D点的空间位置与2D框位置高度相关，这会引入偏差；点融合网络应用空间变换器网络(STN)来规范输入空间；但STN不能完全纠正这些偏差，因此改用已知的几何相机来计算规范旋转矩阵R_c；R_c将通过2D框中心的光线旋转到相机框架的z轴。

6.基于权利要求书1所述的融合网络(二)，其特征在于，融合网络将采用标准CNN来提取的图像特征和点融合网络的子网络产生的对应点云特征作为输入；它将这些函数组合起来并为目标对象输出一个3D边界框；融合网络包括全局融合网络和新型密集融合网络。

7.基于权利要求书6所述的全局融合网络，其特征在于，全局融合网络对图像和点云特征进行处理，并直接对目标边界框的八个角落的三维位置进行回归；全局融合网络的损失函数为：

其中，是标定好的真实框的角落位置，x_i是预测的角落位置，L_stn是引入的空间变换正则化损失，用于强制学习空间变换矩阵的正交性；但全局融合网络的一个主要缺点是回归目标的方差直接取决于具体情况。

8.基于权利要求书6所述的密集融合网络，其特征在于，密集融合网络模型的主要思想是使用输入的三维点作为密集的空间锚点，而不是直接回归3D边界框的角落位置的绝对位置，对于每个输入的三维点，预测从该点到附近边界框的角落位置的空间偏移；使用一个点融合网络变体来输出逐点特征；对于每个点，点融合网络变体与全局的点融合网络特征和图像特征连接，产生一个n×3136的输入张量；密集融合网络使用多个层来处理该输入，并输出3D边界框预测以及每个点的分数；在测试时间，具有最高得分的预测被选择为最终预测；密集融合网络的损失函数为：

其中，N是输入点的数目，是标定好的真实框的角落位置和第i个输入点之间的偏移量，是预测的偏移量，L_score是评分函数的损失。

9.基于权利要求书1所述的密集融合预测评分函数(三)，其特征在于，L_score函数的目标是将网络聚焦在靠近目标框的点上学习空间偏移；具体地，评分函数包括：

(1)监督评分函数：直接训练网络，以预测一个点是否在目标边界框内；

(2)无监督评分函数：让网络选择导致最佳预测的点。

10.基于权利要求书9所述的监督评分函数和无监督评分函数，其特征在于，监督评分损失训练网络预测一个点是否在目标框内；将点i的偏移回归损失表示为将第i个点的二元分类损失表示为则：

其中，m_i∈{0,1}指示第i个点是否在目标边界框中，L_score是交叉熵损失，其惩罚关于给定点是否在框内的不正确预测；如所定义的，该监督评分函数将网络聚焦于学习，以预测目标边界框内的点的空间偏移；然而，它可能不会给出最佳结果，因为框内的点可能不是具有最佳预测的点；

无监督评分的目标是让网络直接了解哪些点可能给出最好的假设；需要对网络进行训练，以确定可能产生良好预测的高置信度；该公式包括两个相互竞争的损失条件：选择所有点的高置信度c_i，然而，角落位置的预测误差与这个置信度成正比；定义集合为点i的拐点偏移回归损失；则损失变成：<