[发明专利]基于多尺度异源特征自适应融合的三维目标检测方法

说明书

本发明提出了一种基于多尺度异源特征自适应融合的三维目标检测方法，主要解决现有技术在单一传感器数据下对低分辨率三维目标检测精度低的问题，其方案为：建立训练、测试样本集；对点云进行体素初始化和关键点采样；构建三维体素特征编码模块编码体素特征；构建三维候选框估计模块估计三维候选框；构建图像特征编码网络编码图像特征；构建异源特征融合模块融合体素特征、图像特征和关键点特征；构建关键点权重估计模块对关键点作二分类；建立输出层，构建三维目标检测模型并对其训练；使用训练好的模型对点云中的三维目标进行检测。本发明改进了对低分辨率三维目标的表征能力，提高了三维目标的检测精度，可应用于机器人导航、三维建模、自动驾驶与虚拟现实。

技术领域

本发明属于多传感器数据融合技术领域，特别涉及一种多尺度异源特征自适应融合的三维目标检测方法，可应用于机器人导航、三维建模、自动驾驶与虚拟现实。

背景技术

激光雷达和相机是智能车和机器人上最常见的传感器，对两者获取的点云和图像数据的处理决定了智能终端的智能化程度。然而，每个传感器既有自身优势，也纯在天然缺陷，点云包含精确的空间距离信息，但是数据很稀疏，缺乏颜色信息，受雨雾天气的影响大；图像具有高分辨率像素和丰富的纹理，但是无法获取物体之间的精确距离。因此，两者的优势互补，能够更好的帮助智能终端感知外部环境。因此，点云和图像的融合在智能化设备领域得到了充分的利用。

三维目标的检测是一种对三维空间目标进行三维检测的任务，其作为众多领域的重要应用，近年来受到了广泛的关注。随着神经网络的不断发展，基于深度学习的融合点云和图像数据的三维目标检测方法已成为了学界的研究热点，例如，Vora S等人发表的名称为“PointPainting:Sequential Fusion for 3D Object Detection”(CVPR2020)的论文中,使用图像语义分割后的信息辅助进行点云的三维目标检测，能够充分利用目标的语义信息，获得了很好的检测性能，然而，由于图像语义分割的结果将直接影响三维检测结果，鲁棒性差；史少帅等人发表的名称为“PV-RCNN:Point-Voxel Feature Set Abstractionfor 3D Object Detection”(CVPR2020)的论文中，使用体素特征融合点特征的方法，平衡了两种方法之间关于计算量大和空间特征信息丢失带来的问题，然而，此方法依旧存在单传感器对低分辨率目标的检测低的问题。

为了避免单一特征带来不足，引入了异源特征融合。异源特征融合就是将不同表征形式的特征进行融合，实质上就是通过组合不同特征带来的优势来提高三维目标检测的精度，例如申请公布号为CN111209840A的专利申请文献公开了一种基于多传感器数据融合的3D目标检测方法，其实现步骤为：1)分别利用两个神经网络对点云和图像进行逐点和逐像素的特征提取，在点云的前景点上进行区域建议。2)利用传感器的标定矩阵实现两种异质传感器数据的逐点关联，实现最大程度上的关联。3)最后利用一个神经网络对每一个区域的联合特征表示进行自适应的融合，并根据融合后的区域特征直接进行进一步得精细化调整。本发明虽然通过神经网络自适应地融合两类传感器数据特征，克服了点云数据稀疏和图像数据没有深度信息等不足，但是没有改变基于点的特征提取带来的大计算量和图像特征提取阶段与任务弱相关的问题。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于多尺度异源特征自适应融合的三维目标检测方法，以提高检测精度。

为实现上述目的，本发明的技术方案包括如下：

(1)从公开数据集中获取包括训练样本集E₁和测试样本集E₂，每个样本包括Lidar点云、RGB图像和三维目标的标注信息；

(2)构建包括异源特征融合模块和关键点权重估计模块的异源特征融合网络，其中，异源特征融合模块用于不同模态数据的多尺度特征融合，权重估计模块用于特征融合后关键点的权重估计；