[发明专利]一种基于CLSTA的铁路司机行为识别方法

摘要

本发明公开一种基于CLSTA的铁路司机行为识别方法，提出了一种CLSTA神经网络模型，并将CLSTA网络移植到工控电脑中，利用司机室内的监控视频对机车司机的行为进行识别和理解，实时监测和智能评估机车司机的驾驶行为和驾驶状态；利用卷积神经网络CNN和长短记忆神经网络LSTM对机车司机行为的视频图像进行空间特征学习和时序特征学习，并考虑到司机室内环境单一，肢体动作对于整个场景而言变化甚微，针对这种现状，提出了改进的时空注意力方法STA，通过大量数据集训练得到神经网络模型，最后将该模型运用于工控电脑中，分析机车司机驾驶过程中的常见行为和异常行为，例如疲劳驾驶、玩手机、抽烟等，最后实现对机车司机行为理解的目的。

主权项

1.一种基于CLSTA的铁路司机行为识别方法，其特征在于，包括以下步骤：步骤1：根据司机室内的环境和司机常见行为的特点，建立改进的时空注意力网络STA，并设计网络的拓扑结构；所述改进的时空注意力网络STA包括空间注意力子网络SA和时间注意力子网络TA；步骤2：将空间注意力子网络SA和时间注意力子网络TA融合Main LSTM 网络，得到新的CLSTA神经网络模型，并设计网络的拓扑结构；所述Main LSTM 网络由Main CNN网络和两层LSTM网络级联组成；步骤3：利用机车司机常见行为视频采集样本作为数据集，输入到所述CLSTA神经网络模型中，训练model；将得到的model运用于工控计算机中，进行机车司机行为的监测识别。