[发明专利]基于深度学习的路面标识感知方法

权利要求书

1.一种基于深度学习的路面标识感知方法，其特征在于，包括以下步骤：

步骤一：将高清可见光摄像头拍摄的图像进行预处理，得到神经网络的输入格式I_i，然后通过共享卷积神经网络获得高维特征值O_s，将高维特征值O_s复制三份分别为O_s1,O_s2,O_s3，其中共享卷积神经网络的网络任务头分三部分，包括道路分割头网络、车道线分割头网络和路面标识检测头网络；

步骤二：将步骤一中高维特征值O_s1,O_s2,O_s3分别输入道路分割头网络、车道线分割头网络和路面标识检测头网络，然后分别输出道路分割结果o_road-mask、车道线分割结果o_line-mask和路面标识检测框O_bbox；

步骤三：判断车道线分类标志位；如果为1则对车道线进行分类，将步骤二中的o_line-mask进行各车道线mask分离、图像尺度缩放得到车道线分类网络的输入特征I_line；然后通过预设的车道线分类网络，得到车道线类别，最后将车道线类别附加到各分割mask中得到O_i-line-mask；反之不进行车道线分类，直接输出车道线O_line-mask；

步骤四：判断提取路面标识轮廓标志位；如果为1则对路面标识轮廓进行前背景分割，将步骤二中的O_bbox每一个目标区域进行裁剪获得基于目标的前背景图像，进行尺度缩放得到路面标识前背景分割网络的输入I_bbox；然后通过预设的前背景分割网络得到路面标识O_bbox-mask；最后将各路面标识映射到原图中得到O_i-bbox-mask；反之不进行路面标识轮廓提取,直接输出路面标识检测框O_bbox；

步骤五：多任务结果融合模块；如果属于地图重建或地图更新工作，即车道线分类标志位和路面标识轮廓标志位都为1，将步骤二中输出的O_road-mask、步骤三中输出的O_i-line-mask、步骤四中输出的O_i-bbox-mask进行像素级融合,输出结果为路面地图要素输出结果；如果属于实时感知工作，即车道线分类标志位和路面标识轮廓标志位都为0，将步骤二中输出的O_road-mask、步骤三中输出的O_line-mask、步骤四中输出的O_bbox进行bbox和mask融合，输出结果为路面感知结果输出。

2.根据权利要求1所述的基于深度学习的路面标识感知方法，其特征在于：步骤一所述共享卷积神经网络训练过程包括训练数据处理、网络设计优化、共享特征提取和特征提取融合；

训练数据处理：首先通过无人车抓拍正常光线下的可见光图像进行图像标注，标注内容包括道路和车道线像素级标注、路面标识、目标检测框标注，标注数据标准化格式为coco数据集格式；

网络设计优化：将可见光图像中的道路和车道线进行像素级分割、路面标识进行目标检测，得到路面和车道线mask、路面标识bbox；

共享特征提取：采用resnet-34框架，在网络第三层和第四层网络结构中分别采用了不同扩张率的空洞卷积；

特征提取融合：采用大小不同的空间金字塔池化层来提取特征，将一张特征图输入到不同的空间金字塔池化层中进行最大池化处理。

3.根据权利要求1或2所述的基于深度学习的路面标识感知方法，其特征在于：步骤一所述共享卷积神经网络中，道路分割头网络和车道线分割头网络由反卷积层和激活层组成，最后接一个sigmod激活函数，卷积层共有6层，反卷积层共有3层；路面标识检测头网络采用多层特征融合的结构，通过concat层融合SPP不同层特征，，然后通过卷积层和全连接层网络，得到目标检测回归结果。