[发明专利]一种基于激光雷达与机器视觉融合的目标检测方法

权利要求书

1.一种基于激光雷达与机器视觉融合的目标检测方法，其特征在于，包括如下步骤：

A、在车的前保险杠位置处安装有固态式的激光雷达，在车的前挡风玻璃处安装有相机，以车辆的前进方向为Z轴，以指向驾驶员左侧方向为X轴，以指向车辆正上方方向为Y轴，以激光雷达的激光发射中心作为相机原点O_l建立激光雷达坐标系O_l-X_lY_lZ_l，并以相机聚焦中心作为相机坐标系原点O_c建立相机坐标系O_c-X_cY_cZ_c，两个坐标系的O-XZ面均与地面保持水平；

B、对所述激光雷达采集到的每帧点云信息进行处理，包括：先通过多平面拟合方法对点云信息进行地面点云分割，得到的分割结果再进行路沿点提取后，对所提取的路沿点依次进行曲线拟合、滤波、下采样的处理并得到每帧的感兴趣区域；对所述感兴趣区域内的点云进行聚类操作，得到每帧聚类后的各个目标，并用三维检测框标识聚类后的各个目标；其中，第p帧聚类后的第q个目标利用第q个三维检测框来标识，表示第p帧中第q个三维检测框中心点的x轴坐标，表示第p帧中第q个三维检测框中心点的y轴坐标，表示第p帧中第q个三维检测框中心点的z轴坐标，表示第p帧中第q个三维检测框的宽度，表示第p帧中第q个三维检测框的长度，表示第p帧中第q个三维检测框的高度；选取三维检测框中与激光雷达距离最近的二维检测框来表征所述第p帧中聚类后的第q个目标；从而得到带有检测框的点云数据集；

C、采用卷积注意力模块构建yolov5模型，并利用道路车辆图像数据集对所述yolov5模型进行训练，得到训练好的yolov5模型，利用所述训练好的yolov5模型对所述相机采集到的每帧图像信息进行处理，并输出每帧图像信息中各个目标的检测框及其坐标、尺寸、类别与置信度信息，从而得到带有检测框的图像信息集；

D、对所述点云信息集和图像信息集进行时空同步，包括：以激光雷达信号作为配准频率的基准，利用插值的方法对激光雷达与相机的时间戳进行对齐后，从而得到同一时刻激光雷达的点云信息集与相机的图像信息集；再对相机进行标定获得相机的内参，对相机与激光雷达进行联合标定，并获得外参，从而将激光雷达坐标系下的二维检测框投影到像素坐标系下，得到投影后的二维检测框其中，表示第q个投影后的二维检测框中心点的x轴坐标，表示第q个投影后的二维检测框中心点的y轴坐标，表示第q个投影后的二维检测框的宽度，表示第q个投影后的二维检测框的高度；

E、对时空同步后的信息进行数据关联，获取关联对：

E1、设置关联门限为r_th；定义变量i表示所述激光雷达与相机经过时间同步后的帧数，定义变量j表示观测第i帧激光雷达的点云数据包含的当前目标数，定义变量k表示观测第i帧相机的图像数据包含的当前目标数，并初始化i＝1；

E2、初始化j＝1；以第i帧激光雷达的点云数据集中第j个投影后的二维检测框的坐标及尺寸信息作为第i帧的第j个雷达目标观测信息以所述第i帧的第j个雷达目标观测信息所对应的三维检测框作为第i帧聚类后的第j个三维检测框

E3、初始化k＝1；以第i帧相机的图像信息集中第k个检测框的坐标、尺寸、类别与置信度信息作为第i帧的第k个相机目标观测信息其中，表示第k个检测框中心点的x轴坐标，表示第k个检测框中心点的y轴坐标，表示第k个检测框的宽度，表示第k个检测框的高度，第k个检测框的检测出的目标的类别，表示第k个检测框的置信度信息；

E4、计算第i帧的第j个激光雷达目标观测信息与第i帧的第k个相机目标观测信息之间的欧氏距离

E5、判断是否成立，若成立，则表示激光雷达的检测目标与相机的检测目标匹配成功，第i帧的第j个雷达目标观测信息与第i帧的第k个相机目标观测信息之间是关联对，否则，表示匹配失败；

E6、将k+1赋值给k后，返回步骤E3顺序执行，直到第i帧的所有相机目标观测信息遍历完成后，将j+1赋值给j后，返回步骤E2，直到第i帧的所有目标遍历完成；

E7、计算第i帧的第j个雷达目标观测信息与第i帧的第k个相机目标观测信息之间关联对的交并比并与所设置的交并比阈值IOU_th进行比较，若则表示第i帧中相应的关联对正确，并输出，否则，舍去第i帧中相应的关联对，并返回E7计算第i帧中下一个关联对，直到输出完第i帧中所有正确的关联对；

F、对第i帧中所有正确的关联对进行数据融合，得到第i帧融合后的目标检测信息，包括：若第i帧的第m个雷达目标观测信息与第n个相机目标观测信息之间是关联对，则先直接将第i帧的第m个雷达目标观测信息所对应的三维检测框中的x轴坐标y轴坐标z轴坐标长度宽度以及第n个相机目标观测信息中的类别置信度信息直接作为相应关联对的融合后的部分目标检测信息，然后利用步骤D中标定好的相机内参与外参将第n个相机目标观测框转换到雷达坐标系下，从而获得第n个相机目标观测高度在雷达坐标系下的投影并作为相应关联对的融合后的目标检测高度补偿信息，由融合后的部分目标检测信息与目标检测高度补偿信息构成融合后的目标检测信息；

G、对第i帧融合的目标检测信息中各个目标进行跟踪后输出目标检测结果。

2.根据权利要求1所述的基于激光雷达与机器视觉融合的目标检测方法，其特征在于，所述E5中，若第i帧的第j个雷达目标观测信息与第i帧的任意一个相机目标观测信息之间的欧氏距离均大于r_th，则将第i帧的第j个雷达目标观测信息输出并进行目标跟踪；

若在第i+1帧中检测到对应的雷达目标观测信息且对应的雷达目标观测信息与第i+1帧的第k个相机目标观测信息之间的欧氏距离则认为第j个雷达目标观测信息成功检测到目标。