[发明专利]面向无人驾驶的新型特征层数据融合的方法、系统及目标检测方法

说明书

本发明公开了面向无人驾驶的新型特征层数据融合的方法、系统及目标检测方法，包括：S1将采集到的原始点云分别投影到鸟瞰图和前景视图，进行特征提取，通过特征点映射之后生成最终的点云特征信息；S2、将相机采集到的信息进行特征提取，通过多尺度层级融合生成最终的图像信息；S3、将生成的点云特征信息和图像特征信息进行叠加融合；S4、将原始点云经多尺度体素化后作为额外的点云信息；S5、将特征提取后的图像特征通过空间金字塔池化后作为额外的图像信息；S6、将S3、S4、S5的特征拼接融合生成最终的融合特征，进行三维目标检测。本发明保证了语义信息完整性，降低了融合过程中的信息损失，提升了算法运行的速率，提高了道路目标检测的精度。

技术领域

本发明属于无人驾驶汽车的环境感知领域，具体地指一种特征层的传感器融合方法、系统及3D目标检测方法。

背景技术

无人驾驶系统主要由感知、决策和控制三个部分组成。实现对道路环境中的车辆和其他物体精确的三维感知是决策控制的重要前提。相较于二维目标检测而言，三维目标检测更加复杂，需要输出更多的参数来确定目标的位置和移动方向。单传感器方法如相机，可以获取图像信息，虽然有丰富的语义信息和纹理信息，但是难以获得精确的距离信息。而激光雷达方法，虽然可以获得精确的坐标信息，但是分辨率低于相机，且远距离点云较为稀疏，难以获得足够的语义信息和纹理信息。因此，同时使用相机和激光雷达的多传感器融合方法成为了解决无人驾驶环境感知中三维目标检测的有效方法。

多传感器融合方法主要分为三类：数据层融合、特征层融合和决策层融合。数据层融合虽然可以获得多传感器之间的交叉信息，信息最为丰富，但是数据匹配较为困难，且结构复杂，难以实现实时检测。而决策层融合虽然结构简单，易于实现，但是仅在检测时有数据关联，一定程度上损失了数据融合的优势。相较于以上两种方法，处于两者之间的特征层融合不仅能有效的利用多传感器获取的丰富信息，而且数据处理相对简单，更易实现实时检测。因此，特征层的数据融合方法成为了目前最有前景，应用最为广泛的传感器融合目标检测算法。

虽然各种各样的特征层融合方法被提出，但是目标检测的效果却不尽如人意，甚至在某些场景中检测精度低于激光雷达方法。经过大量的研究讨论，目前的特征层融合方法存在着以下几个不足：

(1)数据融合过早，不同来源的数据在融合过程中相互交叉，不仅没有增加信息量，而且破坏了不同传感器的语义信息。

(2)在数据融合过程中，仅使用简单地拼接，未考虑数据的关联匹配，造成信息的丢失。

(3)在多视角的融合过程中，来自不同视角的信息进行简单地统一处理，未考虑在实际场景中不同视角信息的信息量不同。

(4)仅使用融合后的信息进行目标检测，造成一定程度上的信息丢失，忽视了原始的点云和图像信息。

发明内容

为解决现有技术上的缺陷，本发明旨在提供一种新型的特征层数据融合方法，借助新型的网络结构和数据处理方法实现更有效、更快速的3D目标检测。

为了实现上述目的，本发明采用的技术方案是：一种新型的特征层数据融合方法，该方法包括以下步骤：

步骤1、将激光雷达采集到的原始点云信息分别投影到鸟瞰图和前景视图之后，进行特征提取，通过特征点映射之后生成最终的点云特征信息；

步骤2、将相机采集到的图像信息进行特征提取，通过多尺度层级融合模块，生成最终的图像信息；

步骤3、将上述步骤生成的点云特征信息和图像特征信息进行叠加融合；

步骤4、将原始点云信息经多尺度体素化后作为额外的点云信息来源；

步骤5、将特征提取后的图像特征通过空间金字塔池化后作为额外的图像信息来源；

步骤6、将步骤3、步骤4、步骤5生成的特征进行拼接融合，生成最终的融合特征。