[发明专利]一种用于自动驾驶的车道线端到端实时检测方法

权利要求书

1.一种用于自动驾驶的车道线端到端实时检测方法，其特征在于：包括构建检测网络模型以及车道线数据库

所述检测网络模型采用以resnet18作为主干网络，并与基于多头空间注意力和自注意力的可形变卷积相结合的网络结构；

在车辆周边设置激光雷达以及多路摄像头，采集多个车道线场景的3d数据、多路视觉图像，以建立车道线数据库；

训练检测网络模型

将车道线数据库中所有车道线场景的3d数据，分别通过人工标注和插值处理，获取每个车道线场景中各个车道线的位置真值、分类真值和属性真值；

利用检测网络模型对多路摄像头采集的当前帧视觉图像、当前帧时刻对应的3d数据进行特征提取，获取不同摄像头视角下的整体鸟瞰特征图，并与检测网络模型输出的上一帧鸟瞰特征图进行加权融合，获得当前帧鸟瞰特征图，进而得到每个车道线场景中各个车道线的位置预测值、分类预测值和属性预测值，再使用匈牙利匹配算法对位置预测值和位置真值进行匹配计算，根据获取的车道线匹配对，采用交叉熵分类损失计算方法分别对分类预测值和分类真值、属性预测值和属性真值、位置预测值和位置真值进行网络损失计算，以调整检测网络模型的参数进入下一轮迭代，直至完成检测网络模型训练；

车道线检测

利用训练好的检测网络模型，以多路摄像头采集的当前帧视觉图像、激光雷达采集的当前帧时刻对应的3d数据以及检测网络模型输出的上一帧鸟瞰特征图进行数据处理，完成车辆行驶过程中的车道线实时检测。

2.根据权利要求1所述的用于自动驾驶的车道线端到端实时检测方法，其特征在于：在进行训练时，先利用主干网络对多路摄像头采集的当前帧视觉图像进行特征提取，获取多路视觉图像特征，并将当前帧时刻对应的3d数据通过车辆标定参数投影得到图像坐标；

对于融合特征的提取，利用基于多头空间注意力和自注意力的可形变卷积对多路视觉图像特征和投影得到的图像坐标进行特征采样，获取不同摄像头视角下的整体鸟瞰特征图，将其和检测网络模型输出的上一帧鸟瞰特征图进行加权融合，获得当前帧鸟瞰特征图，然后使用基于多次全连接的回归模块和分类模块对当前帧鸟瞰特征图进行车道线预测，获得每个车道线场景中各个车道线的位置预测值、分类预测值和属性预测值；

最后，使用匈牙利匹配算法对位置预测值和位置真值进行匹配计算，获取车道线匹配对，根据所述车道线匹配对，采用交叉熵分类损失计算方法进行网络损失计算，以调整检测网络模型的参数进入下一轮迭代，直至完成检测网络模型训练。

3.根据权利要求2所述的用于自动驾驶的车道线端到端实时检测方法，其特征在于：对每个所述车道线场景的3d数据进行车道线人工标注，得到每条车道线的属性参数以及点链化的车道线三维坐标，再通过车辆标定参数投影得到对应多路摄像头的图像坐标(u,v,depth)，其中，u、v代表二维图像中的像素点横向坐标和纵向坐标，depth代表所述像素点在真实世界3d数据中的深度值，然后通过数据拟合方法得到每个车道线的曲线参数；

根据投影得到的图像坐标，对图像纵轴进行等比例间隔采用，得到不同高度下车道线的采样坐标，再进行归一化处理，获得归一化处理后的采样坐标(u',v',depth')，作为车道线的位置坐标；

以此获得每个车道线场景对应的位置真值、分类真值和属性真值，其中，位置真值包括车道线的个数以及所包含的位置坐标，分类真值包括车道线场景中是否存在车道线，属性真值包括车道线的属性参数。

4.根据权利要求1所述的用于自动驾驶的车道线端到端实时检测方法，其特征在于：所述摄像头设置有七路，分别覆盖车辆前向120度、前向30度、左侧、右侧、左后侧、右后侧以及后侧；

所述激光雷达设置在车辆顶部，覆盖车辆前向120度。

5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行实现如权利要求1-4任一项所述的方法。