[发明专利]一种基于深度学习的司机危险驾驶动作识别方法及系统

说明书

本发明提供一种基于深度学习的司机危险驾驶动作识别方法及系统；首先采集司机的动作数据；然后搭建数据处理云中心；对TSM模型进行改进；再搭建识别模型，对识别模型进行训练，最后通过搭建好的识别系统及训练好的识别模型进行数据处理得到司机违规检测结果。本发明使用改进的TSM模型算法作为基础算法，模型具有非常大的时间感受野来进行高度复杂的时间建模，把2DCNN转变为了伪3D卷积，可以处理时间和空间信息，但没有增加额外的计算量，不需要较高的配置。本发明使用自制数据集对模型参数进行微调，有效提高模型的泛化能力，增强对特定动作的识别能力，可以广泛应用于驾驶监督领域，规范司机的驾驶动作，有效提高国家交通安全。

技术领域

本发明涉及计算机视觉和交通安全领域，使用深度学习尤其是基于CNN神经网络的方法对司机驾驶动作进行安全性评估，进行实时警告或上传至云端，提高交通安全。

背景技术

早在2011年就有统计指出，全球处于使用状态的各种汽车总保有量已经突破了10亿辆。反观历史数据，自从1970年以来，全球汽车总数量几乎每15年就翻一番，按照这个增速来看，预计到2050年，这一数字就能突破25亿辆。截止到2020年，仅仅中国就有3.6亿辆汽车。由于汽车数量的激增，导致交通安全事故频发，给我国人民的生命安全造成了极大的威胁。

根据交通事故数据统计分析报告显示，因驾驶时有其他妨碍安全行车的行为导致死亡一直是交通事故发生的主要原因，危险驾驶行为是汽车驾驶中的一个定时炸弹，一旦爆炸，后果不堪设想。而交通事故的发生大部分不是偶然，是平时风险积累的必然，驾驶行为不当但仍因为没有发生事故抱有侥幸心理，会不断增加发生交通事故的可能性。因此，提前对司机的危险驾驶动作进行判断和警告，有利于交通安全，可以提前扼杀风险。因此，寻求一种合理高效的识别方法迫在眉睫。

在视频流中识别人的动作是一项具有挑战性的动作，这一任务受到了计算机视觉研究人员的广泛关注。分析一个人的动作不仅仅是要对身体不同部位的动作进行建模，可能还要考虑人的意图、情感和想法。因此，动作识别已经成为人类行为分析和理解的一个重要组成部分，在监控、机器人、医疗保健、视频搜索、人机交互等各个领域都是必不可少的。和分类静态图像的任务不同，视频数据包含时间信息和空间信息，其中时间信息在动作识别中起着重要作用。

最近这些年，计算机视觉研究人员在不同领域做了大量工作，包括视频分类，分辨率和分割等。基于视频流的动作识别可以描述为使用具有最少人机交互的模式识别系统来自动地识别人类动作。典型地，动作识别系统在训练过程中分析视频序列或者帧来学习特定人类动作的模式，然后在测试阶段使用所学习到的模型对视频动作进行分类。

在过去的这几年，基于深度学习的方法在视频处理领域变得非常流行，因为它可以从多个层次学习特征，并自动构建原始输入的高级表示。而且，与传统方法不同的是，深度学习可以完全自动地提取特征，例如深度学习使用的局部感知、权重共享、多卷积核、下采样等方法。从图像的一部分而不是整个图像中学习局部特征，且最终的识别结果由多个卷积层的结果决定。用于处理图像/帧的一种流行的深度学习方法是卷积神经网络(CNN)。3D CNN结构已经被应用于生成多个信息通道，并在相邻视频帧中执行卷积和下采样。和传统的方法相比，深度学习方法的主要优势是能够识别具有复杂结构的高级活动，所以，研究人员更喜欢使用深度学习的方法来表示视频的特征。深度学习方法的良好性能、特征提取的鲁棒性和泛化能力是其日益流行的主要原因。