[发明专利]基于深度学习的实时的列车驾驶员动作识别系统和方法

摘要

本发明提供了一种基于深度学习的实时的列车驾驶员动作识别系统，包括：摄像头采集模块，驾驶员关键部位检测模块，物体检测模块，动作匹配模块，监控预警模块，监控记录模块；其中动作匹配模块包括人类自身动作识别模块，人类环境交互动作识别模块。该系统使用深度卷积神经网络进行物体、人体检测，具有较强的泛化能力，对驾驶室内的物体和驾驶员的识别非常准确。同时动作模板经过离线数据的分析与建模，非常精准地捕捉了动作的特定规律和运动范围，从而可以精确地匹配驾驶员的动作。

主权项

1.一种基于深度学习的实时的列车驾驶员动作识别系统，包括：摄像头采集模块，驾驶员关键部位检测模块，物体检测模块，动作匹配模块，监控预警模块，监控记录模块；其中动作匹配模块包括人类自身动作识别模块，人类环境交互动作识别模块；其特征在于其特征在于：摄像头采集模块用于采集驾驶室的监控画面；驾驶员关键部位检测模块用于对画面中的司机，司机的头部和面部，司机的手部位置进行检测；物体检测模块用于对驾驶室内关键物体，包括电话、司控器、机车操作显示屏、驾驶台的位置进行检测；动作匹配模块利用物体检测模块检测到的物体位置信息，使用动作模板匹配的方法进行驾驶员动作识别，并将识别出的动作输出；动作匹配模块包括人类自身动作识别模块和人类环境交互动作识别模块，其中，人类自身动作识别模块用于识别驾驶员自身的动作，人类环境交互动作识别模块用于识别驾驶员与环境交互的动作；监控预警模块根据动作匹配模块输出的动作信息进行监控预警，而监控记录模块对实时监控的动作进行记录存储；其中，对驾驶员关键部位检测模块和物体检测模块进行离线深度学习进行训练。