[发明专利]一种基于多帧点云的运动目标检测系统和方法

说明书

本发明公开了一种基于多帧点云的运动目标检测系统和方法，系统包括体素特征提取模块，将连续帧点云序列进行体素化，并提取特征张量序列；转换模块，对特征张量序列通过跨模态注意力模块进行匹配融合，将第一特征张量与第二特征张量融合，融合的结果再与第三特征张量融合，再将融合后的结果与第四特征张量融合，在以此类推，得到最终融合后的特征张量；跨模态注意力模块，将两个特征张量，根据注意力机制，通过卷积神经网络融合，得到融合后的特征张量；识别模块，对最终融合后的特征张量进行特征提取，输出目标的检测信息。方法包括：S1，构建各系统模块；S2，通过训练集数据，对模型进行训练；S3，通过训练好的模型进行预测。

技术领域

本发明涉及三维目标检测技术领域，尤其是涉及一种基于多帧点云的运动目标检测系统和方法。

背景技术

现阶段自动驾驶技术应用越来越广泛，感知技术中尤其是基于点云的三维目标检测技术是自动驾驶技术中最重要的任务之一。现阶段效果较佳的基于点云的三维目标检测技术包括论文《Sparsely Embedded Convolutional Detection》、《3D Object ProposalGeneration and Detection from Point Cloud》以及专利《一种基于激光点云的三维目标检测系统及其检测方法》、《一种基于点云的三维目标检测方法》等，但上述现有技术存在一下问题：首先上述方法未考虑连续帧点云数据，不但没有预测目标轨迹，而且也影响目标的检测精度；其次上述方法完全依赖于训练数据集的固有类别，即当实际场景中出现训练集没有的类别，会产生目标漏检的现象。

发明内容

为解决现有技术的不足，本发明不但考虑多帧点云数据，并且对运动目标的检测，不强依赖训练集目标的类别，从而实现能够预测目标轨迹、提高检测精度，以及避免漏检的目的，本发明采用如下的技术方案：

一种基于多帧点云的运动目标检测系统，包括体素特征提取模块、转换模块和识别模块，转换模块包括跨模态注意力模块；

所述体素特征提取模块，将连续帧点云序列{Pointcloud[i],0i=N}进行体素化，并提取特征张量序列{F_Base[i],0i=N}，i表示帧索引，N表示帧数；

所述转换模块，获取特征张量序列{F_Base[i],0i=N}，通过跨模态注意力模块，将第一特征张量与第二特征张量进行融合，融合的结果再与第三特征张量融合，再将融合后的结果与第四特征张量融合，在以此类推，得到最终融合后的特征张量F_Base_fusion_seq[N-1,N]；

所述跨模态注意力模块，将两个特征张量，根据注意力机制进行匹配融合，并通过卷积神经网络融合，得到融合后的特征张量；

所述识别模块，对最终融合后的特征张量F_Base_fusion_seq[N-1,N]进行特征提取，输出目标的检测信息。

进一步地，体素特征提取模块根据每帧激光雷达对应的位姿{Pose[i],0i=N}，将连续帧点云序列{Pointcloud[i],0i=N}转换到大地坐标系C_Base上，并对转换后的连续帧点云序列{Pointcloud_Base[i],0i=N}进行体素化，大地坐标系C_Base是相对于大地的固定预设坐标原点的笛卡尔正交坐标系，以第一帧点云数据向前方向为大地坐标系C_Base的X轴正方向，向右方向为大地坐标系C_Base的Y轴正方向，向上方向为大地坐标系C_Base的Z轴正方向。

进一步地，体素化是通过构建体素大小及体素化范围，将每个体素内所有点的均值作为体素化特征，体素化特征大小为C*D*W*H，C表示特征通道数，D表示高度，W表示宽度，H表示长度。

进一步地，提取特征张量是对体素化得到的特征序列{Voxel_Base[i]，0i=N}，通过三维稀疏卷积模块进行特征提取，得到特征张量序列{F_Base[i],0i=N}，三维稀疏卷积模块包括一组子卷积模块，子卷积模块包括三维子流行卷积层、归一化层和Relu层。