[发明专利]一种用于交通大场景的雷达视频一体机的数据融合方法

说明书

本发明涉及一种用于交通大场景的雷达视频一体机的数据融合方法，将基于FMCW雷达体制的雷达检测数据和采用人工神经网络算法的视频车辆检测数据进行数据融合，降低系统虚警率及漏警率。本发明利用距离方位非线性伸缩匹配方法，多点中心估计定标方法，实现双直角坐标系投影模型自适应建立，并且通过融合后数据再投影至直角坐标系实现车辆目标轮廓3D重构的目的。

技术领域

本发明涉及交通大场景雷达视频一体机，具体是一种雷达、视频数据融合，并对车辆轮廓反演重构的方法。

背景技术

无论在智能信号灯控制、全息路口还是车路协同等场景下，毫米波雷达与摄像机的视频数据如何实现底层融合，有效降低车辆的漏检率和误检率一直是近些年的研究重点。毫米波雷达具有目标距离、速度、方位角度等检测能力，同时对特定入射角的目标反射能定量测试，从雷达回波散射特性上给出了目标尺寸估计。图像处理技术提供了目标的颜色、尺寸、大小、投影轮廓等维度信息。

2020年，CN201911207876.2一种基于人工智能的雷达视频数据融合方法提出了一种在获取的视频图像及雷达监测图像上建立坐标系，并计算坐标系内每个坐标点距离原点的距离及方位，然后再根据上述距离和方位确定两个图像上的目标是否为同一目标，若为同一目标则进行融合，但是没有对融合效果进行闭环评估。2021年，CN112562405A一种雷达视频智能融合与预警方法及系统提出了一种雷达视频智能融合与预警方法及系统。仅简单描述了采用最大交通流量阈值法和卡尔曼滤波器对数据进行最优估计，没有详细解释数据融合方法。

在工程应用中，当大风、暴雨、重型货车经过都会引起雷达视频一体机所安装的杆件发生晃动，视频画面抖动、畸变，使得传统匹配融合方法难以适用。

发明内容

本发明的目的在于克服视频画面抖动、畸变使得传统匹配融合方法难以适用的技术问题，提供一种用于交通大场景的雷达视频一体机的数据融合方法及装置、存储介质、产品。

为了达到上述目的，本发明采用的技术方案如下：

一种用于交通大场景的雷达视频一体机的数据融合方法，包括

步骤1：采集处理毫米波雷达数据、输出点云数据，点云数据聚类后提取得到多目标队形阵列；

步骤2：采集视频数据，检测车辆下边沿位置，并在每一帧图像中将每一个车辆目标的下边沿线检测并标注线段中心点；

步骤3：视频图像畸变矫正，并将矫正后的视频图像与雷达图像进行结构相似性的畸变矫正吻合率评估，如果不过评估门限，以非线性卷积匹配完成多点中心估计定标，再将定标结果重新与雷达数据进行图像畸变矫正，直至评估过门限；

步骤4：雷达大地坐标与相机坐标系双直角坐标系进行投影，并进行坐标转换，在视频投影二维坐标系中实现车辆目标底层切片多级分割；

步骤5：双源切片数据二次模糊匹配，并进行匹配率评估，若不满足条件，重新进行地平面坐标系切片和相机投影平面切片；

步骤6：归一化高度后重新进行双源数据匹配，直至匹配率满足条件。

与现有技术相比，本发明至少具有以下优点之一：

基于FMCW雷达体制的雷达检测数据和采用人工神经网络算法的视频车辆检测数据进行数据融合，使用距离方位非线性伸缩匹配方法，对雷达、视频数据融合，并对车辆轮廓反演重构的方法，克服视频画面抖动、畸变，使得雷达、视频数据融合更精确匹配，降低系统虚警率及漏警率。

附图说明

图1为本发明数据融合处理流程图。

图2位雷达检测数据进行目标回波簇聚类流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。