[发明专利]一种基于关键点回归与多尺度特征融合的车道线检测方法

说明书

本发明公开了一种基于关键点回归于多尺度特征融合的车道线检测方法，包括步骤：1)构建基于关键点与多尺度特征融合的车道线检测网络，网络包括图像输入模块、特征提取模块、多尺度特征融合模块、车道线分类及关键点回归模块、后处理模块、图像输出模块；2)利用含车道线标签及图像的公开数据集及自行采集的数据集对所述车道线检测网络进行训练，得到训练模型，并将算法部署在车载嵌入式工控机上；3)将车辆前视单目摄像头所采集的图像，输入所述训练模型，并输出车道线检测结果。本发明利用采用关键点回归、多尺度特征融合及快速后处理方法，在保证车道线检测精度的同时，大大提高了检测速度，具有更高的检测效率和实用性。

技术领域

本发明属于图像处理和车辆智能驾驶领域，尤其涉及一种基于关键点回归与多尺度特征融合的车道线检测方法。

背景技术

随着智能网联汽车技术的逐渐推广及ADAS高级驾驶辅助系统的普及应用，车道线检测任务已成为智能交通系统的重要一环。车道保持辅助(LKA)、车道偏离预警(LDW)、可行驶区域划分等多项驾驶辅助技术均对车道线检测任务提出了高精度、高可靠、低时延的检测要求。

基于视觉的检测方法是目前主流的车道线检测方法，由于车道线类型、颜色多样，有虚线、实线、鱼骨线、导流线、白色车道线、黄色车道线等多种类别车道线；且在实际道路环境中，车道线线往往存在被遮挡、模糊、破损、缺失等情况，再加上不同地理位置、不同天气环境、不同光照条件等因素的影响，都给基于视觉的车道线检测任务带来了巨大挑战。针对车道线检测任务的研究也因此具有迫切的研究需求及较高的应用价值。

基于特征及基于模型的传统车道线检测方法通常对图像拍摄质量、车道线几何特征信息依赖性较高、对光照、天气等因素的变化较为敏感，往往只适用于限定场景的车道线检测任务，泛化性能较差，不适用于复杂多变的驾驶场景。现有基于深度学习的方法大多基于语义分割的模型进行车道线特征提取，这种模型通常需要对分割图进行复杂的后处理操作，才能完成车道线拟合，在这个过程中往往计算较为耗时且容易丢失全局语义信息。

近来业界有不少新型车道线检测算法陆续推出，部分学者提出利用线提议单元[Li X,Li J, Hu X,et al.Line-CNN:End-to-End Traffic Line Detection With LineProposal Unit[J].IEEE Transactions on Intelligent Transportation Systems,2020,21(1):248-258.]、多项式参数模型 [Tabelini L,Berriel R,T M,etal.PolyLaneNet:Lane Estimation via Deep Polynomial Regression[J].arXivpreprint arXiv:2004.10924,2020.]、关键点估计[Ko Y,Lee Y,Azam S,et al. KeyPoints Estimation and Point Instance Segmentation Approach for Lane Detection[J].arXiv preprint arXiv,2020:2002-6604]等方法来捕获车道线全局信息，为基于深度学习的车道线检测方法提供了新的思路，但部分模型依然存在计算效率低或误检率高等问题。

发明内容

针对上述计算效率低、全局信息丢失等问题，本发明提出一种基于关键点回归与多尺度特征融合的车道线检测方法。算法整体结构如图1所示。整个网络主要分为特征提取模块、多尺度特征融合模块、车道线预测模块、车道线关键点回归模块。

将车道线用一组纵向等间距排列的关键点组合表示，设计卷积神经网络通过预测关键点坐标序列实现全局车道线检测。根据图像中远处车道线像素点少且模糊、近处车道线像素点多且清晰的特点，设计多尺度特征融合网络结构，综合提升模型的分类和回归性能。该方法从全局视图出发，在考虑车道线全局信息的同时，关注车道线细节特征的提取。所提模型在复杂驾驶场景下具有较高的检测鲁棒性和精度，且模型求解效率高，具有较高的实际应用价值。