[发明专利]基于深度学习的司机驾驶行为检测与识别方法

权利要求书

1.一种基于深度学习的司机驾驶行为检测与识别方法，其特征在于，包括：

步骤1.获取司机在驾驶过程中的视频帧序列，所述视频帧序列包括司机在驾驶过程中的行为图像；

步骤2.对所述视频帧序列进行预处理；

步骤3.构建由ResNet-18、多层LSTM网络和全连接层级联组成的深度学习模型，利用所述深度学习模型对预处理后的视频帧序列进行检测和识别。

2.如权利要求1所述的基于深度学习的司机驾驶行为检测与识别方法，其特征在于，所述ResNet-18网络由五部分组成，第一部分由卷积网络和最大池化层组成；下面四部分为结构相同的卷积网络，每部分有四层卷积层，每部分的输出通道数依次翻倍；每两层卷积层的输入与输出进行直接相加，成为残差模块，所述残差模块的输入通道数与输出通道数应与该部分特征图的输入输出通道数分别对应。

3.如权利要求2所述的基于深度学习的司机驾驶行为检测与识别方法，其特征在于，所述ResNet-18网络用于提取所述视频帧序列的空间特征，在所述ResNet-18网络的每个残差模块中都加入了卷积注意模块，所述卷积注意模块分别在通道上和空间上对特征图进行加权处理。

4.如权利要求3所述的基于深度学习的司机驾驶行为检测与识别方法，其特征在于，所述通道卷积注意模块在通道上的输入是一个H×W×C的特征F，先对输入的每个通道特征分别进行全局平均池化和最大池化操作得到两个1×1×C的通道描述；接着，再将两个1×1×C的通道描述分别送入一个两层的卷积神经网络，第一层神经元个数为C/r，r为缩放因子，激活函数为ReLU，第二层神经元个数为C，然后将得到的两个特征相加经过Sigmoid非线性函数映射得到维度为C，值为0-1之间的权重向量Mc，每个向量元素值反应了该通道的重要程度，将原来的特征F乘以权重系数得到缩放后的特征；Mc的计算公式为：

其中，A为全局平均池化操作,M为最大池化操作,G为卷积操作,W₀是第一层卷积层权值，第一层卷积操作后接ReLU激活函数，W₁为第二层卷积操作权值,σ是Sigmoid函数。

5.如权利要求3所述的基于深度学习的司机驾驶行为检测与识别方法，其特征在于，所述空间卷积注意模块在空间上的输入是一个H×W×C的特征F，对通道分别进行最大池化和平均池化操作，得到两个H×W×1的空间描述，将两个矩阵在通道上级联，即矩阵在最后一个维度上进行叠加，通过一个7x7的卷积和Sigmoid函数得到值分布在0-1之间的空间特征权重系数Ms，每个元素值代表对应区域特征的重要性，并与特征图相乘；Ms的计算公式为：

其中，A是平均池化操作,M是最大池化操作,f^7x7是卷积核大小为7x7的卷积操作,分别是经过平均池化和最大池化后得到的特征矩阵,σ是Sigmoid函数。

6.如权利要求1所述的基于深度学习的司机驾驶行为检测与识别方法，其特征在于，所述LSTM网络用于提取所述视频帧序列的时序信息，所述LSTM网络有三层，每层LSTM输入都要经过时序注意力模块，对时序采取系数加权的处理办法。