[发明专利]一种地铁司机车载驾驶行为分析方法、车载终端及系统

说明书

本发明提供一种地铁司机车载驾驶行为分析方法、车载终端及系统，所述方法包括：构建地铁司机的车载驾驶行为数据库；基于所述车载驾驶行为数据库，采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型；采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像；获取所述连续的多帧图像中司机的驾驶动作轨迹，利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别。本发明能够实时监测和智能评估司机的驾驶行为和驾驶状态，有助于及早发现可能的人为操作失误，确保行车安全。

技术领域

本发明涉及人工智能技术领域，更具体地，涉及一种地铁司机车载驾驶行为分析方法、车载终端及系统。

背景技术

近年来，城市轨道交通列车的平均运行速度和行车密度不断提高，虽然列车行车安全装备和司机标准化作业水平有了很大提升，但司机在值乘过程中可能出现的注意力不集中及意外伤病引发的丧失操纵能力等严重威胁列车安全运行的概率仍然存在。

目前我国城市轨道交通既有的列车行车安全装备基本不具备司机警惕控制的功能，对司机个人的工作状态没有识别、报警，系统功能不能满足实际运营要求。各种型号地铁、轻轨使用的车辆运行监控记录装置都是在车辆运行时，将采集到的各种运行数据存入该装置的存储器内，到车辆停站时由专人将信息下载，然后交给地面管理部门，最后由技术人员通过地面信息处理系统对数据进行储存和分析。然而，这样的列车运行监控装置存在着明显缺陷，无法对司机的操作情况进行实时报警，已经无法满足轨道交通运营管理部门的实际要求。地面管理人员只能被动的在办公室中等待司机提交运行记录，只能对己经成为历史的运行数据进行记录、管理和分析，缺乏对列车运行过程中由司机操作而产生的动态数据实时监控管理的能力。同时，地面管理人员对司机驾驶的状态没有直观的了解，对司机工作情况的监督明显缺乏力度。这使得在发生各种事故时，管理部门缺乏实时的、直观的数据和资料，不利于分析事故原因或处理各种事件。

因此，亟需提供一种能够对司机个人的工作状态进行识别、报警，以满足城市轨道交通列车的实际运营要求的方法或系统。

发明内容

为了克服城市轨道交通既有的列车行车安全装备基本不具备司机警惕控制的功能，对司机个人的工作状态没有识别、报警，不能满足实际运营要求的问题，本发明提供一种地铁司机车载驾驶行为分析方法、车载终端及系统。

根据本发明的一个方面，提供一种地铁司机车载驾驶行为分析方法，包括：

S1，构建地铁司机的车载驾驶行为数据库，包括驾驶动作数据库和面部状态数据库；

S2，基于所述车载驾驶行为数据库，采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型；

S3，采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像；

S4，获取所述连续的多帧图像中司机的驾驶动作轨迹，利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规；并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常。

其中，所述步骤S1进一步包括：

S11，使用红外视觉传感器采集地铁司机的标准工作视频，并在采集过程结束后从所述标准工作视频中均匀提取出图像帧，对所述图像帧中司机双手位置坐标点以及时间戳进行标注，将标注后的图像帧进行保存，生成驾驶动作数据库；

S12，使用摄像机无间断拍摄地铁司机的工作视频并按一定帧率截取成图像，从所截取的图像中筛选出可辨别司机面部状态的有效图片进行保存，生成面部状态数据库。

其中，所述步骤S2进一步包括：