[发明专利]一种雷达和视频信号融合的车辆跟踪方法

权利要求书

1.一种雷达和视频信号融合的车辆跟踪方法，其特征在于，包括如下步骤：

S1、建立车辆跟踪系统，所述车辆跟踪系统由标定模块、坐标映射模块、视频流读入模块、图像预处理模块、目标检测模块、过滤模块、目标跟踪模块、目标匹配模块构成；

S2、由所述标定模块使用毫米波雷达传感器和光学传感器对监测场景下不同位置的角反进行采集，以此求解单应性矩阵；

S3、使用所述毫米波雷达传感器获取当前场景下的车辆信息，所述车辆信息送入所述坐标映射模块，同一视频流送入所述视频流读入模块；

S4、由所述坐标映射模块将雷达坐标从雷达采集平面映射到像素平面的图像坐标，新的坐标当前帧中目标的雷达坐标，将其送入所述目标匹配模块；

S5、通过所述视频流读入模块读入视频流，并进行解码操作，将解码图片发送到所述图像预处理模块；

S6、通过所述图像预处理模块按照系统预先设置的参数对图片进行预处理，预处理完成后将图片发送到所述目标检测模块；

S7、在所述目标检测模块处理图片后输出车辆目标信息，车辆目标信息输入过滤模块；

S8、所述过滤模块按照预设的筛选条件将所述目标检测模块输出的结果进行过滤，确定需要进行输出的车辆目标信息，将过滤后的结果输入所述目标跟踪模块；

S9、所述目标跟踪模块根据检测结果，对各个车辆目标进行id绑定，追踪信息送入所述目标匹配模块；

S10、由所述目标匹配模块将当前帧的雷达信息与图像跟踪信息进行匹配，融合为同一目标的交通状态信息进行最终的输出。

2.根据权利要求1所述的一种雷达和视频信号融合的车辆跟踪方法，其特征在于，所述求解单应性矩阵的方法如下：

S2.1、对于包含N对雷达及其对应摄像机采集到的目标坐标，随机抽取4个特征点作为已知数来求解得到一个单应性矩阵h_i，其中，雷达检测出目标在雷达坐标系中的位置P_r(x_r,y_r)，摄像机坐标系中的位置为P_c(u,v)，雷达平面上的目标点与对应的像素平面目标点之间的映射关系如下：

式中，H为雷达平面与像素平面之间的单应性矩阵，其表示为两个采集面之间的转换关系，H是一个3×3的矩阵，s为一个常数；

S2.2、对于每一个样本集计算得到其对应的标定误差e_i，由式(1)可得：

将式(2)展开可得：

如果雷达平面和像素平面存在N个对应的目标：

则每个标定出的单应性矩阵h_i的标定误差为：

S2.3、找出e_i的中值所对应的h_i作为最终的单应性矩阵值，送入所述坐标映射模块。

3.根据权利要求2所述的一种雷达和视频信号融合的车辆跟踪方法，其特征在于，所述坐标映射模块通过式(1)将当前帧雷达采集到的雷达坐标P_r(x_r,y_r)转换为图像系坐标P_c(u,v)作为新的雷达坐标，送入所述目标匹配模块。

4.根据权利要求3所述的一种雷达和视频信号融合的车辆跟踪方法，其特征在于，所述视频流读入模块从摄像头采集系统读入视频流，然后进行解码操作，将解码图片发送到所述图像预处理模块，所述图像预处理模块按照系统预先设置的参数对图片进行预处理，预处理完成后将图片发送到目标检测模块，所述目标检测模块接收图片后，对图片进行处理得到检测结果送至过滤模块，所述过滤模块按照预设的筛选条件将目标检测模块输出的结果进行过滤，确定需要进行后续跟踪的车辆目标，将得到结果送入所述目标跟踪模块。

5.根据权利要求4所述的一种雷达和视频信号融合的车辆跟踪方法，其特征在于，所述目标跟踪模块根据前一帧目标检测结果使用线性卡尔曼滤波算法预测当前帧目标位置并结合当前帧目标检测结果更新每帧目标的边框位置，使用匈牙利算法取匹配两帧间的目标是否为同一目标进行id绑定，将跟踪结果送入所述目标匹配模块。