[发明专利]一种自适应融合可见光与点云数据的三维目标检测方法

说明书

本发明公开了一种自适应融合可见光与点云数据的三维目标检测方法MAP‑FN。该方法输入摄像机图像以及原始点云图，首先使用图像采样器和投影矩阵生成基于点的激光雷达特征，用于结合底层细节信息，然后通过双流区域候选网络进行点云特征和点云图像特征的自适应融合，生成3D选区，最后通过边界框细化实现3D物体检测。整个过程使用图像和点云作为原始输入，避免了鸟瞰图中点云原始数据的信息损失，降低了融合的复杂度，提高了三维空间物体检测的准确率，克服了原有方法的缺点。

技术领域

本发明属于图像处理技术领域，具体涉及一种三维目标检测方法。

背景技术

在智能驾驶系统中，需要对周围目标所处的空间位置、类型、运动状态实现精准感知。目前，多种传感器被应用于智能驾驶领域，通过感知周围环境信息获取目标物体的类别、三维大小及旋转角度等指标，实现3D目标检测。基于多模态融合的方法相比较于基于单一数据的方法而言，通过相互之间支持、补充、修正，能提供更准确的信息，逐渐成为3D目标检测中主流的研究方法。文献“X.Chen,H.Ma,J.Wan,B.Li,and T.Xia,Multi-View 3dObject Detection Network for Autonomous Driving,in the IEEE Conference onComputer Vision and Pattern Recognition,2017,pp.1907-1915”提出了一种基于图像和激光雷达点云信息的三维目标检测方法。该方法旨在实现高精度的三维目标检测自主驾驶场景，提出多视图3D网络，即一个传感器融合框架，将激光雷达点云和图像作为输入，并预测定向三维边界框。该网络由两个子网络组成，用于3D对象选区生成和多视图特征融合，区域提案网络生成的三维候选框可以有效地从鸟瞰图中表现三维点云，这是一种结合多个视图区域特性的融合方案，并支持不同输入路径中间层之间的交互。在具有挑战性的KITTI基准测试集上的3D任务检测取得了较为优秀的结果。文献所述方法由于采用基于投影的方式结合效果并不理想，并且具有较大的信息损失，降低了3D目标的检测效率。另外，这种方法使用激光雷达鸟瞰图和图像作为输入，鸟瞰图和图像足够很好地诠释3D空间中的信息，但是会导致预处理量和后续计算量太大，影响整个算法的检测效率。

发明内容

为了克服现有技术的不足，本发明提供了一种自适应融合可见光与点云数据的三维目标检测方法MAP-FN(Multimodal Adaptation Point-based Fusion Network)。该方法输入摄像机图像以及原始点云图，首先使用图像采样器和投影矩阵生成基于点的激光雷达特征，用于结合底层细节信息，然后通过双流区域候选网络进行点云特征和点云图像特征的自适应融合，生成3D选区，最后通过边界框细化实现3D物体检测。整个过程使用图像和点云作为原始输入，避免了鸟瞰图中点云原始数据的信息损失，降低了融合的复杂度，提高了三维空间物体检测的准确率，克服了原有方法的缺点。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：将摄像机获取的图像输入图像处理流：所述图像处理流由四个轻量级卷积块和四个具有不同步长的并行转置卷积层依次组成；每个轻量级卷积块由两个3×3卷积层、一个批处理归一层和一个ReLU激活函数组成；

摄像机获取的图像经过四个轻量级卷积块输出语义图像特征，再经过并行转置卷积层恢复图像分辨率，得到与原始图像相同大小的特征图并进行拼接，得到最终特征图；

步骤2：将激光雷达点云图像输入几何处理流；所述几何处理流由四个集合特征抽取层和一个特征传播层依次组成；

所述集合特征抽取层首先使用最远点采样法在激光雷达点云图像中采样多个中心点，然后以每个中心点为球心聚合指定半径内的所有点作为一个组，之后采集聚合的每个组的特征作为点云特征；

所述特征传播层使用反距离权重法对激光雷达点云图像进行插值，然后将插值的特征和集合特征抽取层提取出来的特征进行组合，组合后的特征经过1x1的卷积核进行处理；