[发明专利]一种基于多模态数据的系统性目标识别与跟踪方法

摘要

本发明公开了一种基于多模态数据的系统性目标识别与跟踪方法，将点云数据和图像数据在线融合，生成RGB‑D三维数据图像；以RGB‑D三维数据图像作为深度神经网络的输入，利用数据库训练深度神经网络，训练后的深度神经网络能够输出RGB‑D三维数据图像中的各类目标的种类和距离，完成对各类目标的识别；针对识别出来的目标，输出目标的距离与尺寸及目标像素的二维坐标，利用深度神经网络提取目标的图像特征来匹配各帧的识别输出，通过拟合更新目标运动模型来预测筛选跟踪目标相对位置，以此对检测到的特定目标进行跟踪。本发明能够实现地面无人平台在车辆行驶速度快，环境未知干扰多，目标出现位置随机的非结构化复杂环境下的目标的识别与跟踪。