[发明专利]基于深度学习的司机驾驶行为检测与识别方法

说明书

本发明公开了一种基于深度学习的司机驾驶行为检测与识别方法，基于深度学习的司机驾驶行为检测与识别方法，包括：步骤1.获取司机在驾驶过程中的视频帧序列，所述视频帧序列包括司机在驾驶过程中的行为图像；步骤2.对所述视频帧序列进行预处理；步骤3.构建由ResNet‑18、多层LSTM网络和全连接层级联组成的深度学习模型，利用所述深度学习模型对预处理后的视频帧序列进行检测和识别。本发明采用ResNet‑LSTM的网络结构，消除了因网络深度增加带来的梯度爆炸或者梯度消失的影响，对ResNet‑18和LSTM网络分别引入通道注意力、空间注意力和时序注意力机制，充分利用视频的空间和时序信息，提高模型的性能。

技术领域

本发明涉及深度学习和图像处理领域，具体涉及一种基于深度学习的司机驾驶行为检测与识别方法。

背景技术

近年来，视频行为识别技术开始应用于越来越多的领域，包括视频监控、车辆跟踪、行为识别等，司机驾驶行为识别也同样依赖视频行为识别技术。视频行为识别是深度学习在图像识别领域上的进一步发展。同时，随着计算机硬件技术的不断提高，尤其是GPU的快速发展，使得基于深度学习的图像识别算法逐渐成为主流的算法。

视频行为识别的研究主要包括设计更加高效的深度学习模型和学习算法。从空间特征和时间特征两个方面去考虑，模型需要具备很强的特征学习能力，合适的网络结构需具有良好的泛化性能才能满足实际应用的需求,要在不同的环境中对不良驾驶行为有敏感性，同时还要降低漏报、错报的比例。一般来讲，深度学习模型训练与识别的时间较长，单纯从算法角度难以满足实时性的要求。为了达到应用的需求，我们需要对所设计的深度学习模型进行轻量化处理。另外，在减小参数量的同时，模型的识别准确率也势必会降低。在便携式终端设备实现方面，需要解决识别准确率高、计算速度快、设备功耗小以及内存需求等问题。

因此，根据实际问题，设计一种具有高识别准确率，同时能够满足实时性要求的司机不良驾驶行为检测和的深度学习模型具有非常重要的意义。

对于司机驾驶行为的识别，目前相关研究主要是着重提高深度学习模型在提取视频数据的空间特征以及视频的时序特征上的能力，不同的网络结构有着不同的特征学习能力，将不同网络进行适当的结合^[1]，能够达到不同的效果。目前有下面几种主流的深度学习模型，具体包括：

(1)卷积神经网络

卷积神经网络(Convolutional neural network，CNN)在图像领域的发展已较为成熟，对于由一系列连续的帧组成的视频同样可以采用CNN进行学习，以提取视频帧当中包含的显性特征^[2]。经典的CNN模型有LeNet、AlexNet、 GoogleNet、VGG、ResNet(残差网络)^[3]等。比如，ResNet采用残差模块的思想，将输入x学习到的特征表示H(x)变成残差学习F(x)＝H(x)-x用来解决随着网络深度的增加而造成的学习退化问题。当残差为0时，网络仅仅做了恒等映射，至少网络的性能不会降低。

文献[4]将FCNN(Fully convolutional neural networks)与三级级联的深度卷积神经网络结合识别司机违规行为。首先利用FCNN网络对数据进行语义分割，再由前两级卷积网络剔除大量的正常驾驶行为，最后一级网络给出分类结果。文献[5]采用多网络特征融合进行分类的方法，利用ResNet、VGG16、Inception 三种不同的卷积网络组合成并行网络，同时对相同的数据进行特征提取并进行特征融合^[6]，最后输入到分类器检测识别司机是否处于瞌睡状态。文献[7]对 RCNN(Region CNN)进行改进提出了SFRCNN(Spectralfaster RCNN)对司机的驾驶行为进行检测。