[发明专利]基于深度神经网络的道路车道线检测方法及系统

权利要求书

1.一种基于深度神经网络的道路车道线检测方法，其特征在于，包括以下步骤：

获取待识别图像及其前后的N张的连续图像，依时序构成一组连续图像序列；

将所述连续图像序列输入至预先训练好的深度神经网络模型；所述深度神经网络模型包括编码网络模块、探索学习时间先验信息的循环卷积网络模块和解码网络模块；

通过所述编码网络模块对所述连续图像序列中的每一张图像依次进行特征提取，得到包含车道线语义特征的特征图序列；

所述循环卷积网络模块接收来自编码网络模块的特征图序列的循环输入，经过多层循环卷积和时序特征融合，输出特征融合后的语义特征图；所述循环卷积网络模块包括多层循环卷积网络和全局特征融合单元；

将所述连续图像序列中的图像帧按组并行输入所述循环卷积网络模块，每组连续图像序列中的每张图像均对应输入一层循环卷积网络，每层所述循环卷积网络均包括若干个相连的用于提取连续图像序列的图像特征的时序特征融合单元，每个时序特征融合单元接收来自同一层中前一个时序特征融合单元的输出和前一层中对应时序特征融合单元与前前层的加法融合特征的输出，逐个融合直至最后一层的最后一个时序特征融合单元，输出融合特征作为提取到的连续图像特征；

将提取到的连续图像特征与当前待识别图像特征输入所述全局特征融合单元进行全局特征融合，输出特征融合后的语义特征图；

通过所述解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图。

2.根据权利要求1所述的基于深度神经网络的道路车道线检测方法，其特征在于，所述编码网络模块包括多个卷积层，所述卷积层为VGG11网络去掉全连接层后的卷积层，每个卷积层后均包括有一个非线性激活层。

3.根据权利要求2所述的基于深度神经网络的道路车道线检测方法，其特征在于，所述编码网络模块包括至少八个卷积层，以及连接于卷积层之间的若干个最大池化层；除最后一个最大池化层外，每经过一个最大池化层，卷积层的卷积核的数量翻倍；以及，每个最大池化层连接于每一个或者两个相连的卷积层之后。

4.根据权利要求1所述的基于深度神经网络的道路车道线检测方法，其特征在于，所述每个时序特征融合单元接收来自同一层中前一个时序特征融合单元的输出和前一层中对应时序特征融合单元与前前层的加法融合特征的输出，逐个融合的步骤包括：

同一层中前一个时序特征融合单元的输出特征图通过一个卷积操作后输出；前一层中对应时序特征融合单元的输出特征图通过另外一个卷积操作后输出；两个特征图的输出进行加法融合，将融合后的特征进行一个融合卷积操作后作为该时序特征融合单元输出的融合特征。

5.根据权利要求1或4所述的基于深度神经网络的道路车道线检测方法，其特征在于，所述解码网络模块包括多个卷积层、至少两个上采样模块和softmax模块；所述通过解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图，包括：

将所述语义特征图输入卷积层，输出的特征图进行上采样，上采样输出的特征图再进行一次或多次卷积以及上采样交替操作；将上采样后的语义特征图通过softmax模块进行softmax操作，输出每个车道线的概率图，通过每个车道线的概率图获取车道线的具体位置。

6.根据权利要求1所述的基于深度神经网络的道路车道线检测方法，其特征在于，将提取到的连续图像特征与当前待识别图像特征输入所述全局特征融合单元进行全局特征融合，包括：

对连续图像序列的每帧图像的关联特征进行各个通道相加，输出单通道特征，将单通道特征图进行空间Softmax操作获取出每个像素特征的权重，对于当前待检测图像的特征进行1x1的卷积操作，卷积输出的特征图乘以权重1.0，将特征图和像素权重矩阵进行逐像素的乘法融合，使融合后的特征图的大小与原来的特征图的大小保持一致。

7.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一所述方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序指令，其中，所述计算机程序指令被处理器运行时，使得所述处理器执行权利要求1至6任一项所述方法的步骤。