[发明专利]一种应用于无人系统的多源异构传感器前融合方法

权利要求书

1.一种应用于无人系统的多源异构传感器前融合方法，其特征在于：包括以下步骤：

步骤一：多源异构数据采集与预处理；

步骤二：同类型数据融合及底层特征提取；

步骤三：特征聚合生成感知融合信息序列。

2.根据权利要求1所述的一种应用于无人系统的多源异构传感器前融合方法，其特征在于：所述步骤一：多源异构数据采集与预处理具体为：使用M个多源传感器进行同时刻数据采集，对获得的M个数据块进行预处理，使M个数据块都拥有三维空间位置属性的描述，且所述三维空间位置属性共享同一个三维空间坐标系。

3.根据权利要求1所述的一种应用于无人系统的多源异构传感器前融合方法，其特征在于：所述步骤二：同类型数据融合及底层特征提取具体为：对预处理之后的M个数据块按照传感器类型进行分类，将传感器原理相同的数据块归为同类型数据，并对同类型数据使用模态特定的特征编码器再起自身坐标中单独编码。在前融合过程中，多种传感器数据抽取特征后将特征向量在原始层进行融合。

4.根据权利要求1所述的一种应用于无人系统的多源异构传感器前融合方法，其特征在于：所述步骤三：特征聚合生成感知融合信息序列具体为：将多源传感器中的3D点云数据投影到高阶特征图像的对应位置，在匹配后的高阶特征图像中，针对每个雷达扫描点投影点，将雷达扫描点投影点的像素特征与该雷达扫描点特征相串联，生成融合信息序列。

5.根据权利要求1所述的一种应用于无人系统的多源异构传感器前融合方法，其特征在于：所述步骤一：多源异构数据采集与预处理包括有：

S101:M个多源传感器固定安装在无人系统上，其共享同一个三维空间坐标系；

S102:完成多源异构数据的预处理，预处理包括但不限于将采集到的多源异构数据进行平滑去噪、缺失值处理、数据规范化、色差校正等过程。

6.根据权利要求5所述的一种应用于无人系统的多源异构传感器前融合方法，其特征在于：所述M个多源传感器是指M个提供数据源的传感器，其传感器类型可以相同也可以不同，数据采集模块的感知设备包括但不限于激光雷达、摄像头、毫米波雷达，GPS组合导航，惯性导航模块等，所述感知设备获取各自感知数据的原始数据。

7.根据权利要求3所述的一种应用于无人系统的多源异构传感器前融合方法，其特征在于：所述步骤二具体为：在2D图像分支，图像数据包含但不限于三通道RGB图或者灰度图等形式，步骤二将多个广角社交头采集的当前帧图像使用全景拼接映射表映射成全景拼接图像，对所述图像数据进行特征提取，获得高阶特征图像。

8.根据权利要求7所述的一种应用于无人系统的多源异构传感器前融合方法，其特征在于：通过多个多层感知机对图像数据进行特征提取，每个多层感知机由多个卷积层、激活层、正则层组成，用于从图像中提取特定的特征。感知机输出的结果进行叠加，叠加方法可以是相加，串联或者池化等，得到同和空间信息的特征张量序列；再将特征张量序列输入结合多头注意力机制的时序信息感知网络，提取序列中蕴含的时间上下文信息，得到新的序列中最后一帧的特征张量。

9.根据权利要求4所述的一种应用于无人系统的多源异构传感器前融合方法，其特征在于：所述步骤三具体为：假设激光雷达数据包含N个点，每个点包含(x，y，z)坐标信息以及其他附加信息，假设高阶特征图像包含M个像素点，每个像素点有一个图像坐标系的坐标(u，v)以及其他高阶特征信息；

在对传感器进行标定之后，能够得到雷达数据点坐标与图像坐标系坐标之间的对应关系，从而能够将每个雷达点投影到图像坐标系中某一特定位置。