[发明专利]一种基于稀疏多尺度体素特征融合的三维目标检测方法

说明书

本发明公开了一种基于稀疏多尺度体素特征融合的三维目标检测方法，将原始点云采用三种不同尺度的体素进行体素化，获得三种不同尺度的体素化三维模型，分别对三种不同尺度的体素化三维模型进行注意力特征提取和平均特征提取，将注意力特征和平均特征进行联接操作融合为三维稀疏特征图；将三种不同尺度的三维稀疏特征图进行多尺度特征融合并压缩至鸟瞰图，得到多尺度融合的伪图像特征图，采用训练好的由浅至深回归网络对所述多尺度融合的伪图像特征图进行多重聚合，输出目标检测结果。本发明提高了定位和三维框估计的准确性，消耗了更少的资源开销。

技术领域

本发明属于目标检测技术领域，尤其涉及一种基于稀疏多尺度体素特征融合的三维目标检测方法。

背景技术

随着现代计算机视觉工业应用特别是自动驾驶的高速发展，基于点云数据的三维物体目标检测在工业和学术领域受到了极大的关注。点云数据和来自摄像机的RGB图像不同，它有着独特的属性。点云数据可以提供用于描述物体几何特征的相对位置结构信息和深度信息。另外，由于点云数据在鸟瞰图中固有的尺度不变性，它可以自然的对物体进行分离。但是，点云的固有性质——稀疏性，无序性以及不均匀分布性对三维目标检测中的场景感知带来了困难。

为了克服点云数据固有特性的这些挑战，目前有三种不同的点云表示方法。点表示方法使用原始点作为输入来保存最详细的几何结构信息，这在所有表示方法中实现了网络的最小输入信息损失。但是，与CNN相比，基于点的方法感知能力较弱，并且在结构采样上耗费大量时间。体素表示方法将稀疏的和不规则的点云转换成规则大小的体素，这可以被卷积神经网络更好地感知。通常来说，基于体素的方法具有极好的精度和相当快的速度，但是对参数非常敏感。而图表示方法不仅提取点之间的信息，而且基于点端信息提取更多的局部细节。图表示方法建立的一个更易感知的结构，但是需要付出过多的前馈时间。

由于现实应用中对于实时性和高效性的要求，所以目前的技术方案采用基于体素的表示方法。但是，在体素表示方法中，对于关键参数的选择是一个敏感的问题。较小的体素可以实现更精细的几何特征和更好的定位精度，但需要大量的计算开销。较大的体素会减少推理时间，但会失去准确性，尤其是对于小对象来说。

发明内容

本申请提出了一种基于稀疏多尺度体素特征融合的三维目标检测方法，来缓解关键参数选择导致的精度和速度之间的矛盾问题。

为了实现上述目的，本申请技术方案如下：

一种基于稀疏多尺度体素特征融合的三维目标检测方法，包括：

将原始点云采用三种不同尺度的体素进行体素化，获得三种不同尺度的体素化三维模型；

分别对三种不同尺度的体素化三维模型进行注意力特征提取和平均特征提取，将注意力特征和平均特征进行联接操作融合为三维稀疏特征图；

将三种不同尺度的三维稀疏特征图进行多尺度特征融合并压缩至鸟瞰图，得到多尺度融合的伪图像特征图；

采用训练好的由浅至深回归网络对所述多尺度融合的伪图像特征图进行多重聚合，输出目标检测结果。

进一步的，所述注意力特征提取包括：

提取感知注意力特征和通道注意力特征，将感知注意力特征和通道注意力特征通过乘法操作融合在一起，并经过激活函数输出注意力特征；

其中，所述感知注意力特征提取包括：在横向结构上对体素化三维模型的体素进行最大池化操作，最大池化操作后接着两个全连接层，输出感知注意力特征；

所述通道注意力特征提取包括：在纵向结构上对体素化三维模型的体素进行最大池化操作，最大池化操作后接着两个全连接层，输出通道注意力特征。

进一步的，所述将注意力特征和平均特征进行联接操作融合为三维稀疏特征图，包括：