[发明专利]一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法

权利要求书

1.一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于,包括以下步骤：

获取毫米波雷达检测数据，对数据进行滤波，得到车辆目标；

获取道路环境图像，使用深度学习神经网络模型在所述道路环境图像中检测周边环境车辆，获得视觉跟踪目标的位置信息和尺寸信息；

根据所述位置信息与尺寸信息，利用改进的粒子滤波算法在视觉图像中进行多目标跟踪；

使用机器视觉与毫米波雷达融合模型，根据关联判定策略将所述车辆目标与所述视觉跟踪目标进行关联，并利用毫米波雷达测距信息对视觉跟踪边界框的位置与尺寸进行修正；

进行轨迹信息更新，得出跟踪结果。

2.根据权利要求1所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于，所述对数据进行滤波包括以下步骤：

对毫米波雷达数据进行预处理，初步滤除无效雷达目标；

基于三阶卡尔曼滤波器，结合目标的距离、角度、速度、加速度参数，对雷达目标进行一致性检验；

针对当前时刻每一个雷达目标，结合相邻k个时刻数据进行连续性判断。

3.根据权利要求2所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于，对毫米波雷达数据进行预处理包括以下步骤：

利用雷达返回空目标的特征数值，筛除空目标；

根据目标区域范围，设置纵向、横向距离阈值，筛除区域外雷达目标。

4.根据权利要求1所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于：所述深度学习神经网络为卷积神经网络。

5.根据权利要求1所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于：所述改进的粒子滤波算法，采用遗传算法改进重采样步骤，在遗传算法的交叉操作中生成单个子替代换小权重粒子，在变异操作中利用标准正态分布计算种群适应度。

6.根据权利要求5所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于：所述遗传算法进行个体适应度评价时，利用巴氏系数计算跟踪模板与粒子窗口之间的相似度，满足以下公式：

其中，p_i表示第i个粒子表征窗口直方图，q表示模板直方图，ρ为巴氏系数。

7.根据权利要求5所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于：所述改进的粒子滤波算法，在两个视觉跟踪边界框重叠时比较其观测值，较小者判定处于被遮挡状态，满足以下公式：

其中，返回O_id为被遮挡粒子的序号，p_i表示第i个粒子表征窗口直方图，q表示模板直方图。

8.根据权利要求1所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于，所述机器视觉与毫米波雷达融合模型的建模方法如下：

建立毫米波雷达坐标系、相机坐标系、图像物理坐标系、图像像素坐标系之间的转换关系，将雷达坐标点准确投影到图像上；

使用向下兼容原则对毫米波雷达和摄像机两个传感器进行采样，保持采样时间一致；

根据雷达目标投影点与视觉跟踪边界框之间的位置关系，设定关联判定策略，实现毫米波雷达数据中车辆目标与视觉跟踪目标的关联。

9.根据权利要求1或8所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于，所述关联判定策略的设定具体包括以下步骤：

S1、视觉跟踪边界框内没有雷达投影点，视觉跟踪目标没有雷达目标与之关联匹配；

S2、一个视觉跟踪边界框内存在且仅有一个雷达投影点，将视觉跟踪边界框与雷达投影点关联匹配；

S3、一个视觉跟踪边界框内存在多个雷达投影点，将距离中心点(x+w/2,y+h/2)处最近的雷达目标与视觉跟踪边界框关联；其中，x为视觉跟踪边界框的横向像素坐标，y为视觉跟踪边界框的纵向像素坐标，w为视觉跟踪边界框的宽度，h为视觉跟踪边界框的高度。