[发明专利]一种基于雷达信号和视觉融合的车辆检测与跟踪方法

权利要求书

1.一种基于雷达信号和视觉融合的车辆检测与跟踪方法，其特征在于:

步骤1：在交通卡口架设毫米波雷达与摄像头，利用毫米波雷达预先检测车辆目标位置与速度，初步筛出速度相近的车辆作为候选关联目标；

步骤2：根据坐标转换矩阵将目标在雷达中的位置转换到摄像头坐标系中，再转换至视频图像帧坐标系中，缩小影像搜索范围；

步骤3：基于YOLOv3-MoblieNet进行车辆目标检测，获取车辆边框与特征，基于Tracking-by-Detecton策略，利用Deep-SORT算法进行多目标跟踪。

2.根据权利要求1所述的基于雷达信号和视觉融合的车辆检测与跟踪方法，其特征在于，

所述步骤1具体为：

毫米波雷达系统主动发射电磁波信号，将接收到的回波信号输出，利用极坐标系运算规则来剔除不在道路区域内的虚假目标，利用卡尔曼滤波算法来计算相邻几个周期内目标出现和移动的连续性，实现车辆目标检测；

计算接收信号与发射信号的时间差值，提供探测目标的相对距离、相对速度；

筛选速度相近车辆作为候选目标。

3.根据权利要求1所述的基于雷达信号和视觉融合的车辆检测与跟踪方法，其特征在于，所述步骤2具体为：

将雷达坐标系下的坐标，转换到以监控摄像头为中心的世界坐标系，毫米波雷达与三维世界坐标系间，两原点之间距离为D，车辆目标P经过毫米波雷达探测所得距离为H，相对角度为α，转换关系为：

将以摄像头为中心的世界坐标系下的坐标转换到视频传感器坐标系下，利用摄像机成像几何模型中的针孔模型进行演算，利用描述旋转关系的旋转矩阵R，与描述两坐标系原点间位置平移关系的平移向量t两坐标系间的互相转换；

需要考虑视频传感器可能产生的畸变；若空间某一点P在世界坐标系中坐标为(X₀,Y₀,Z₀)，则在视频传感器坐标系中坐标(X_1,Y₁,Z₁)与其的转换关系为：

依据成像关系，若空间某一点P₁(X₁,Y₁,Z₁)在图像平面上的投影位置为P_i(x,y)，是光心O₁与视频传感器坐标系中点P₁的连线O₁P₁和图像平面的交点；

根据比例关系有：

4.根据权利要求1所述的基于雷达信号和视觉融合的车辆检测与跟踪方法，其特征在于，

所述步骤3为：

获取车辆边框与特征，基于Tracking-by-Detecton策略，利用Deep-SORT算法进行多目标跟踪，其特征在于，YOLOv3在特征提取阶段使用Darknet-53的基础网络，基础网络中大量使用残差连接，模型训练的难度减小，引入特征金字塔结构，采用类似FPN的上采样和特征融合机质，解决物体检测中的多尺度问题，特征图预测前，将浅层特征与深层特征进行特征融合，使浅层特征图也包含丰富的语义信息；MobileNet的模型基本思想：使用深度可分离卷积来构建深度神经网络，并通过两个超参数，从通道数量和特征图大小两个方面减少计算量，设输入特征图的大小为W×H，相比于标准卷积，深度可分离卷积计算量减少：

选用MobileNet和YOLOv3检测模型相结合，用MobileNet代替YOLOv3的主干网络框架，同时保留YOLOv3的多尺度预测，获得轻量级的检测模型，使用卡尔曼滤波器预测状态和新测量之间的马氏距离，以此来表示运动信息，并且引入第二种关联方法,对每个跟踪目标构建一个库,存储每个跟踪目标成功关联的最近100帧特征向量，计算目标外观信息，采用上述两种度量的线性加权作为最终的度量，使用了级联匹配来对更加频繁出现的目标赋予优先权，首先保证了对最近出现的目标赋予最大的优先权，增强跟踪稳定性与连续性。