[发明专利]一种地铁司机车载驾驶行为分析方法、车载终端及系统

摘要

本发明提供一种地铁司机车载驾驶行为分析方法、车载终端及系统，所述方法包括：构建地铁司机的车载驾驶行为数据库；基于所述车载驾驶行为数据库，采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型；采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像；获取所述连续的多帧图像中司机的驾驶动作轨迹，利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别。本发明能够实时监测和智能评估司机的驾驶行为和驾驶状态，有助于及早发现可能的人为操作失误，确保行车安全。

主权项

1.一种地铁司机车载驾驶行为分析方法，其特征在于，包括：/nS1，构建地铁司机的车载驾驶行为数据库，包括驾驶动作数据库和面部状态数据库；/nS2，基于所述车载驾驶行为数据库，采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型；/nS3，采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像；/nS4，获取所述连续的多帧图像中司机的驾驶动作轨迹，利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规；并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常；/n其中，所述步骤S1进一步包括：/nS11，使用红外视觉传感器采集地铁司机的标准工作视频，并在采集过程结束后从所述标准工作视频中均匀提取出图像帧，对所述图像帧中司机双手位置坐标点以及时间戳进行标注，将标注后的图像帧进行保存，生成驾驶动作数据库；/nS12，使用摄像机无间断拍摄地铁司机的工作视频并按一定帧率截取成图像，从所截取的图像中筛选出可辨别司机面部状态的有效图片进行保存，生成面部状态数据库；/n其中，对所述图像帧中司机双手位置坐标点以及时间戳进行标注的步骤，具体为：先采用人工标注再利用无监督学习算法实现机器自动标注所述图像帧中司机双手位置坐标点和时间戳；/n其中，所述步骤S2进一步包括：/nS21，基于所述驾驶动作数据库，采用基于时序的动作识别方法通过训练获得司机驾驶动作识别模型；/nS22，构建用于状态辨识的深度学习网络模型，并利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练，获得司机面部状态识别模型；/n其中，所述步骤S21进一步包括：/nS211，针对同一个动作，将所述驾驶动作数据库中所有描述该动作的图像帧提取出来，重复训练所述动作多次；/n其中，驾驶动作数据库中的图像帧均对司机双手位置坐标点以及时间戳进行了标注，记为：/nR