[发明专利]一种多传感器深度融合提高目标检测能力的方法

说明书

本发明涉及一种多传感器深度融合的方法，利用不同传感器在不同的维度对环境与目标的感知，所采集的各种数据做多层面的数据融合，从而提高系统环境感知与目标检测能力。我们把不同维度的探测数据组成一个多维像素矩阵，在摄像头成像的每个像素为基础维度上增加其它传感器如雷达和红外传感器带来的距离、相对速度、目标的雷达散射截面RCS数据以及目标的热辐射温度分布等数据，把不同维度的探测数据用矩阵数组的形式组合在一起，组成一个“多维度测量参数”的矩阵数组，产生更多样有效的数据挖掘与特征提取。本发明适用于车辆驾驶辅助系统(ADAS)和自动驾驶系统、机器人以及各种需要有环境感知与目标检测能力的设备与系统中。

技术领域

本发明涉及一种多传感器深度融合的方法，有效利用不同的传感器在不同的维度对环境与目标的感知，所采集的各种数据做多层面的数据融合，从而提高系统环境感知与目标检测能力。

背景技术

目前常用于环境感知的传感器有：摄像头，微波雷达，红外传感器，超声波雷达以及激光雷达等，它们被广泛地用于车辆驾驶辅助系统(ADAS)和自动驾驶系统、机器人、无人搬运车(AGV)，以及各种需要有环境感知与目标检测能力的设备与系统中。但是目前基本的使用场景是各个感知系统各自为政，独立地在自己的探测维度里对环境目标做检测。即使做多传感器的融合，往往也是浅层的，各传感器系统只做浅层的数据交互，比如在目标检测的最初阶段对候选检测目标做筛选时集合各系统探测的数据做一个权重判别(作为候选目标或者直接放弃)；或者，各系统在输出各自目标检测的结果后再做一次综合判断，基于系统各自的权重来投票表决(分类器方法)统计计算出最终判定结果。这些系统没有对所采集的各种数据做多层面的数据融合与深度学习，信息与决策分散，没有充分利用来自不同维度的信息组合产生的更多样有效的特征提取与数据挖掘来有效地提高系统环境感知与目标检测能力。

本发明的任务是提供一种方法，使系统内不同种类的传感器形成互补有效的系统组合，各传感器充分利用各自最有效的探测维度进行环境感知与目标检测，把多个维度的目标探测数据用矩阵数组(类似一个立体矩阵)的形式组合在一起，取得的数据做多层面的数据融合与深度学习，充分利用来自不同维度的信息组合产生的更多样有效的数据挖掘与特征提取，从而更有效的提高系统环境感知与目标检测能力。

发明内容

这是一种新的多传感器融合方法，用于环境感知与目标检测；利用深度的数据融合，充分利用来自不同传感器的信息在多维度和多层次架构上做高效准确的目标检测。

我们把多个维度的目标探测数据用矩阵数组(类似一个立体矩阵)的形式组合在一起。在摄像头成像的二维像面空间基础上，我们把每个像素包含的信息做了扩展，除了其原本包含的亮度与颜色信息，我们还为每个像素增加了多个纵向维度，在增加的纵向维度上输入该像素在摄像头探测空间(物方空间)映射的目标物体单元被其它传感器探测到的多种对应维度的信息，如相对距离、相对运动速度、目标的雷达散射截面RCS数据以及目标的热辐射温度分布等数据，把多维度信息以分层的方式装配到原本以图像像素为单元的目标物体描述子之上，在数学上表现为统一结构的矩阵数组。在本文中我们把这种目标的“多维度测量参数”的矩阵数组描述称之为“多维像素”结构。在摄像头成像的每个像素为基础维度上增加了其它传感器如雷达和红外传感器带来的距离、相对速度、目标的雷达散射截面RCS数据以及目标的热辐射温度分布等数据，增加系统感知深度，建立了以摄像头像素为颗粒度的立体多维深度感知矩阵数组，原来的每一个像素变成了本发明中的每一个多维像素。我们把不同维度的探测数据用矩阵数组的形式组合在一起，组成一个“多维度测量参数”的矩阵数组，简称多维像素矩阵，是本发明的创新。

“多维度测量参数”的矩阵数组(既多维像素矩阵)描述示意图如图1所示。我们还可以在此基础上增加更多的数据维度(带入更多传感器的数据封装)，组合方式相同。另外，纵向的矩阵数组顺序可以改变(当然，顺序的改变可能意味着机器学习要重新再次训练)。