[发明专利]一种基于视频的危险驾驶行为检测方法和检测系统

说明书

本发明公开了一种基于视频的危险驾驶行为检测方法，包括以下步骤：1、采集驾驶员驾驶视频图像序列并计算对应的光流图序列；2、采用2D CNN提取驾驶员视频中的空间特征和时间特征；3、采用基于LSTM的注意力模型计算显著性空间特征和显著性时间特征；4、采用基于三级级联ConvLSTM网络的深度特征提取网络，根据显著性空间特征和显著性时间特征，从空间角度和时间角度分别获取危险驾驶行为概率向量；计算融合空间时间的危险驾驶行为概率向量，并获取危险驾驶行为类别检测结果。该方法能够避免因过多关注冗余特征而导致检测精度低下的问题，同时通过对异常驾驶动作的时空信息进行建模，显著提高了其检测性能。

技术领域

本发明属于机器视觉技术领域，具体涉及一种根据车载视频检测驾驶员危险驾驶行为的方法和系统。

背景技术

驾驶员的危险驾驶行为是交通事故的主要原因。为了防止危险驾驶造成交通事故的严重后果，有必要对危险驾驶行为进行有效监控。

驾驶行为检测技术近年来随着计算机视觉技术的不断发展，很多研究者将其运用到计算机视觉领域并取得了很好的结果。基于手工特征的危险驾驶行识别方法主要依赖于手工设计的特征，主要是利用局部特征子对视频进行表示。其中比较流行的方法是基于稠密轨迹的危险驾驶行为检测方法，该方法将得到的运动轨迹周围的梯度方向直方图，光流直方图以及运动边界直方图，通过利用词袋模型或者其变种进行编码，从而用于驾驶行为识别。然而，手工设计的特征仅仅利用了局部的上下文信息，而且一般只能对较短的时序进行建模，所以在面临复杂行为建模时缺少判别力。由于深度卷积网络在图片识别任务上的成功，研究者开始考虑利用深度学习进行基于视频的驾驶行为识别和建模。较为流行的方法是3D的卷积神经网络，其将原始的空间维度2D卷积扩展到增加了时间维度的3D卷积。但模型复杂度增加的同时，也增加了训练的复杂度，模型训练需要较大的数据量或者3D卷积核的分解。另一个较为流行的方法是基于双流的卷积神经网络，其利用RGB图像和光流图像训练两个不同的网络，以此达到对表观信息和运动信息分别建模的目的。不过，该方法也存在着不足之处，在对运动信息建模的时，利用叠加的光流图像作为输入，这种做法仅能对短时的运动进行建模，对于长时间的动作其网络检测效果低下。此外，传统两流卷积网络动作识别算法其生成的特征图存在大量的信息冗余，不能专注于驾驶员驾驶行为的检测，于是有学者将注意力机制运用在双流卷积网络动作识别算法中。但是现有的注意力机制模型，只是在当前帧的位置上采用注意力机制，并没有考虑到周围或者全局视频帧的上下文信息，这导致了网络关注非显著性的运动区域或视频帧信息，从而降低了驾驶行为识别的精确度。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种根据车载视频检测驾驶员危险驾驶行为的方法，该方法能够对驾驶员的危险驾驶行为进行检测和分类。

技术方案：本发明一方面公开了一种基于视频的危险驾驶行为检测方法，所述视频为驾驶员驾驶时的视频；所述方法包括构建阶段、训练阶段和检测阶段，所述构建阶段包括：

S1、采集视频帧，构成待检测视频片段；所述待检测视频片段为长度为T的驾驶员驾驶时的视频图像序列V，V＝[v₁,v₂,…,v_t,…v_T]；其中v_t∈R^w×h×c，表示视频图像序列中的第t帧图像，w、h分别为视频图像的宽和高，c表示图像色彩空间的通道数；

S2、对S1得到的待检测视频片段，计算相邻帧的光流，构成光流图序列F＝[f₁,f₂,…,f_t,…f_T]，其中f_t∈R^w×h×2L，L为光流算法相关的特征通道数；光流计算时每个方向的输出通道数均为L，垂直与水平两个方向合在一起为2L；