[发明专利]一种基于毫米波雷达和视觉的道路目标检测与关联方法

权利要求书

1.一种基于毫米波雷达与视觉的道路目标检测与关联方法，其特征在于，包括以下步骤：

A、在车头处安装毫米波雷达，以毫米波雷达为原点O，以车辆正前方为X轴，以驾驶员左侧方向为Y轴，以车辆正上方为Z轴，建立O-XYZ坐标系，且O-XY平面与地面平行，在车顶安装相机，其安装高度为Z_v，所述相机的镜头垂直于O-XZ平面，且水平于O-YZ平面；

B、利用张正友标定法对相机的内参进行标定，得到内参矩阵M₁，并通过测量得到相机与雷达之间的外参矩阵M₂；

C、改进YOLOv3网络并进行网络训练：

C1、利用相机采集道路目标图片，并对图片中每个视觉目标进行类别和位置信息框的标注，从而构建训练集；

C2、构建改进的YOLOv3网络，包括：主体网络和三个特征预测层；

所述主体网络包括依次相连的a个层卷积层，第一注意力模块，b个卷积层，第二注意力模块，e个层卷积层，第三注意力模块；

每个注意力模块均包括并联连接的沿通道方向的全局最大池化层和全局平均池化层，再一起连接一个卷积层和sigmoid激活函数；

每个特征预测层均包括依次相连f个卷积层；且所述主体网络的三个注意力模块分别连接三个特征预测层；

C3、所述训练集中的任意一幅图片P输入所述改进的YOLOv3网络，并输出若干目标预测框，其中，任意一个目标预测框记为C_o，并利用式(1)计算目标预测框C_o与所述图片P中所标注的每个位置信息框的匹配值，并选择最大匹配值所对应的位置信息框，记为

式(1)中，c_o,α表示所述目标预测框C_o与所述图片P中所标注的第α个位置信息框的中心点之间的距离；d_o,α表示包围所述目标预测框C_o与所述图片P中所标注的第α个位置信息框的最小框对角线距离；IoU_o,α表示所述目标预测框C_o与所述图片P中所标注的第α个位置信息框的交并比；DIoU_o,α表示目标预测框C_o与所述图片P中所标注的第α个匹配值；

C4、建立以所有目标预测框与其对应最大位置信息框的代价值之和的定位损失函数L_DIoU，并基于所述训练集，利用梯度下降法对所述改进YOLOv3网络进行训练，直到达到所设定的迭代次数为止，从而得到训练好的视觉检测模型；

D、利用相机采集实时道路目标图片并输入视觉检测模型中，从而输出m个视觉目标的检测框的中心坐标、长宽信息、类别信息，其中，任意第i个视觉目标的检测框中心坐标记为(x_vi,y_vi)；

E、对毫米波雷达的参数进行配置，并利用配置后的毫米波雷达获取实时CAN信号后进行解析，得到目标信息，再过滤所述目标信息中的无效目标和空目标后，利用卡尔曼滤波消除过滤后的目标信息中的噪声，从而得到n个雷达目标的中心坐标，其中任意第j个雷达目标的坐标记为(x_rj,y_rj)；

E、对毫米波雷达输出的目标和视觉目标进行时间对齐与目标关联：

E1、以毫米波雷达的第j个雷达目标的时间戳为基准，将所述第i个视觉目标的时间按照所述基准进行对齐；

E2、为毫米波雷达输出的第j个雷达目标预设K组不同的长宽值，其中，第k组的长、宽值分别为w_k、h_k，从而得到K×n个雷达目标的预设框，令第j个雷达目标的第k个预设框的左上角点坐标为右下角点坐标为

E3、利用式(3)将第j个雷达目标的第k个预设框的左上角点投影到像素坐标系下，从而得到第j个雷达目标的第k个目标框在像素坐标系下的左上角点(X_jk,Y_jk)，同理，得到第j个雷达目标的第k个目标框投影到像素坐标系下的右下角点(P_jk，Q_jk)；

E4、根据视觉目标的目标总数m与投影到像素坐标系下的雷达目标框的总数K×n，利用式(4)建立第i个视觉目标的检测框与第j个雷达目标的第k个目标框之间的代价值C_ijk，从而得到m×K×n的代价矩阵C；

式(4)中，S_rjk代表第j个雷达目标的第k个目标框的面积，S_vi代表第i个视觉目标的检测框的面积，c_ijk代表包围两个检测框的最小框的对角线的长度；

E5、利用匈牙利算法对代价矩阵C进行优化求解，输出全局代价最小的若干个目标匹配对，作为m个视觉目标和n个雷达目标的之间的全局最优匹配结果。