[发明专利]一种基于深度学习的司机危险驾驶动作识别方法及系统

权利要求书

1.一种基于深度学习的司机危险驾驶动作识别方法，其特征在于，步骤如下：

步骤一：采集司机的动作数据：

通过数据采集模块实时采集司机的动作数据；

步骤二：搭建数据处理云中心；

数据处理系统采用在线数据处理，搭建数据处理云中心，通过数据传输模块将数据采集模块采集到的司机的动作数据传输至数据处理云中心进行集中处理；

步骤三；TSM模型的改进；

将视频模型的特征映射表示为A∈R^{N×C×T×H×W},其中，N表示批处理的数值大小，C是通道数量，T是时间维度，H和W表示空间分辨率；TSM模型在时间维度上对通道进行转移，包括前向和反向，相邻帧的信息会在转移后和现在的帧进行融合；在时间维度上进行±2的转移得到改进的TSM模型；对于在线数据处理，改进的TSM模型处理视频信息从时间维度转变为了通道维度，每次转移所有通道数的1/4，即后向转移1/4，用于司机视频数据的在线处理；

步骤四：识别模型搭建；

识别模型基于CNN网络框架，使用Resnet作为模型的主干网络，将改进后的TSM模型集成为一个计算模块，插入到Resnet残差块中，成为一个变残差块；然后以变残差块为基块搭建好Resnet神经网络模型，即得到识别模型；

步骤五：识别模型训练；

通过数据采集模块采集规定的司机动作数据：分别要求不同司机作出打电话、打哈欠、频繁眨眼、抽烟、低头动作；将收集到的司机视频数据解耦为图片作为数据集，并将数据集分为训练集和测试集，通过训练集对搭建的识别模型进行训练，获得最优的模型参数，并通过测试集验证效果；

步骤六：数据处理；

通过数据采集模块采集司机的动作数据，通过数据传输模块将采集到的司机的动作数据传输至数据处理云中心，数据处理云中心将采集到的司机动作视频数据进行预处理解耦为图片，然后输送到数据处理单元；数据处理单元对获得的图片数据进行随机采样，并通过训练好的识别模型进行数据处理，输出司机是否有违规动作以及违规动作的类别，然后通过数据传输模块将结果反馈给司机或公司的管理部门。

2.一种基于深度学习的司机危险驾驶动作识别系统，其特征在于，包括数据采集模块、数据处理云中心、数据处理单元和数据传输模块；

所述的数据采集模块用于实时采集司机的动作数据；

所述的数据处理云中心用于对采集到的司机动作视频数据进行预处理解耦为图片；

所述的数据处理单元设置在数据处理云中心上，用于对获得的图片数据进行随机采样，并通过训练好的识别模型进行数据处理，输出司机是否有违规动作以及违规动作的类别；

所述的数据传输模块用于将数据采集模块采集到的司机的动作数据传输至数据处理云中心，和将识别模型的输出结果传输给司机或公司的管理部门。

3.根据权利要求2所述的一种基于深度学习的司机危险驾驶动作识别系统，其特征在于，进一步的，所述的数据采集模块采用高清摄像头，高清摄像头安装在交通工具驾驶位的左前或右前方。

4.根据权利要求3所述的一种基于深度学习的司机危险驾驶动作识别系统，其特征在于，进一步的，所述的识别模型基于CNN网络框架，使用Resnet作为模型的主干网络，将改进后的TSM模型集成为一个计算模块，插入到Resnet残差块中，成为一个变残差块，然后以变残差块为基块搭建好Resnet神经网络模型，即得到识别模型。