[发明专利]基于深度学习的实时的列车驾驶员动作识别系统和方法

说明书

本发明提供了一种基于深度学习的实时的列车驾驶员动作识别系统，包括：摄像头采集模块，驾驶员关键部位检测模块，物体检测模块，动作匹配模块，监控预警模块，监控记录模块；其中动作匹配模块包括人类自身动作识别模块，人类环境交互动作识别模块。该系统使用深度卷积神经网络进行物体、人体检测，具有较强的泛化能力，对驾驶室内的物体和驾驶员的识别非常准确。同时动作模板经过离线数据的分析与建模，非常精准地捕捉了动作的特定规律和运动范围，从而可以精确地匹配驾驶员的动作。

技术领域

本发明涉及一种列车驾驶技术，尤其涉及一种基于深度学习的实时的列车驾驶员动作识别嵌入式系统和识别方法。

现有技术

火车司机在驾驶过程中操作规范与否关系到列车行车安全，目前列车驾驶室装备6A系统，可以以列车运行过程中火车司机的行为以视频形式存储到SD卡中，列车到站之后，再由铁路工作人员人工检查视频中是否存在列车司机操作不当之处，而在列车行驶过程中，无法实时判别司机操作是否合乎规范，也就无法有效保证列车安全可靠地运行。因此，在列车司机驾驶的同时，实现6A系统对于司机操作动作的分析，实时判别操作规范与否的需求越来越迫切。

司机动作识别是计算机视觉的重难点问题之一。一些传统的方法，比如基于Haar级联特征或者梯度直方图+支持向量机等多种方法，都存在准确率较低的问题。而随着深度学习的发展，神经网络对人的检测已经有了非常大的提升。物体检测模型YOLO(You OnlyLook Once)可以非常迅速而准确地检测出图像或视频中的人。但是YOLO只是检测出人在图像中的相对位置，并没有识别出人类的身体部位和动作。而神经网络对于人类身体部位的检测准确率也已经大幅提升，比如CMU的OpenPose，在较高的硬件配置下可以实时地非常准确地识别出人类的多个身体部位。但是直接使用OpenPose来识别驾驶员动作主要存在两个问题：1.对硬件的要求很高，难以应用到嵌入式设备中，无法移植到列车驾驶室的6A系统中上。2.OpenPose只是识别了人体的关键节点，并没有对特定动作的识别。

发明内容

本发明的目的是提供基于深度学习的实时的列车驾驶员动作识别嵌入式系统，并使用深度卷积神经网络对驾驶室内的物体和驾驶员实现准确的识别。同时，通过动作模板经过离线数据的分析与建模，捕捉动作的特定规律和运动范围，从而可以精确地匹配驾驶员的动作。

本发明的技术方案是提供了一种基于深度学习的实时的列车驾驶员动作识别系统，包括：摄像头采集模块，驾驶员关键部位检测模块，物体检测模块，动作匹配模块，监控预警模块，监控记录模块；其中动作匹配模块包括人类自身动作识别模块，人类环境交互动作识别模块；其特征在于：

摄像头采集模块用于采集驾驶室的监控画面；

驾驶员关键部位检测模块用于对画面中的司机，司机的头部和面部，司机的手部位置进行检测；

物体检测模块用于对驾驶室内关键物体，包括电话、司控器、机车操作显示屏、驾驶台的位置进行检测；

动作匹配模块利用物体检测模块检测到的物体位置信息，使用动作模板匹配的方法进行驾驶员动作识别，并将识别出的动作输出；

动作匹配模块包括人类自身动作识别模块和人类环境交互动作识别模块，其中，人类自身动作识别模块用于识别驾驶员自身的动作，人类环境交互动作识别模块用于识别驾驶员与环境交互的动作；

监控预警模块根据动作匹配模块输出的动作信息进行监控预警，而监控记录模块对实时监控的动作进行记录存储；其中，对驾驶员关键部位检测模块和物体检测模块进行离线深度学习进行训练。

进一步地，人类自身动作包括坐着、站着或打手势。

进一步地，识别驾驶员与环境交互的动作包括打电话或操作屏幕。

进一步地，使用前面训练得到的检测模型直接检测出驾驶员，及其头部，手部和驾驶室内的关键目标作为动作识别模块的输入。