[发明专利]一种应用于无人系统的多源异构传感器前融合方法

说明书

本发明涉及无人系统及传感器融合技术领域，且公开了一种应用于无人系统的多源异构传感器前融合方法，包括以下步骤：步骤一：多源异构数据采集与预处理；步骤二：同类型数据融合及底层特征提取；步骤三：特征聚合生成感知融合信息序列，通过数据采集与预处理，同类型数据融合，融合数据组维度对齐以及异构数据融合与一致表征，解决了多源异构数据因含义不同、维度各异等问题所导致的融合困难，实现了多源异构数据间的特征级融合，提高了融合数据信息的可靠性，通过这种方式能够让输出的二维特征张量上的每个像素位置上包含更大范围内的特征信息，从而避免在融合过程中由于点云的稀疏性导致丢失大量原始像素信息。

技术领域

本发明涉及无人系统及传感器融合技术领域，具体为一种应用于无人系统的多源异构传感器前融合方法。

背景技术

随着无人系统的快速发展，单纯依靠激光雷达、惯性测量单元或者是相机等单一传感器已经无法完成无人系统在复杂场景中的感知导航任务。因此现有的无人系统常常搭载由多种不同传感器组成的感知平台。感知平台会产生2D图像数据，3D点云数据，惯导数据，GPS定位数据等多源异构数据，完成数据的融合以及对环境的一致表征，能够最大限度地辅助无人系统完成对所处环境的综合感知与描述，有效提升无人系统后处理模块场景理解的能力。传统方法多以决策级融合为主，每个传感器各自独立处理生成的目标数据，在融合过程中，低置信度信息会被过滤掉，产生原始数据的丢失。这些丢弃的低置信度原始数据，往往能够通过使用原始数据直接融合的前融合方法提高置信度，进而提高感知精度。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种应用于无人系统的多源异构传感器前融合方法，解决了传统决策级传感器融合方法使得无人系统原始数据丢失的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种应用于无人系统的多源异构传感器前融合方法，包括以下步骤：

步骤一：多源异构数据采集与预处理；

步骤二：同类型数据融合及底层特征提取；

步骤三：特征聚合生成感知融合信息序列。

优选的，所述步骤一：多源异构数据采集与预处理具体为：使用M个多源传感器进行同时刻数据采集，对获得的M个数据块进行预处理，使M个数据块都拥有三维空间位置属性的描述，且所述三维空间位置属性共享同一个三维空间坐标系。

优选的，所述步骤二：同类型数据融合及底层特征提取具体为：对预处理之后的M个数据块按照传感器类型进行分类，将传感器原理相同的数据块归为同类型数据，并对同类型数据使用模态特定的特征编码器再起自身坐标中单独编码。在前融合过程中，多种传感器数据抽取特征后将特征向量在原始层进行融合。

优选的，所述步骤三：特征聚合生成感知融合信息序列具体为：将多源传感器中的3D点云数据投影到高阶特征图像的对应位置，在匹配后的高阶特征图像中，针对每个雷达扫描点投影点，将雷达扫描点投影点的像素特征与该雷达扫描点特征相串联，生成融合信息序列。

优选的，所述步骤一：多源异构数据采集与预处理包括有：

S101:M个多源传感器固定安装在无人系统上，其共享同一个三维空间坐标系；

S102:完成多源异构数据的预处理，预处理包括但不限于将采集到的多源异构数据进行平滑去噪、缺失值处理、数据规范化、色差校正等过程。

优选的，所述M个多源传感器是指M个提供数据源的传感器，其传感器类型可以相同也可以不同，数据采集模块的感知设备包括但不限于激光雷达、摄像头、毫米波雷达，GPS组合导航，惯性导航模块等，所述感知设备获取各自感知数据的原始数据。