[发明专利]一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统

摘要

本发明公开了一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统，该方法通过对Kinect传感器进行巧妙的设置，综合利用Kinect传感器的各项检测功能，只使用一种Kinect传感器，实现了列车启动检测、驾驶员心率监测、疲劳监测、误判监测多种功能，利用Kinect传感器获取的彩色图像数据、深度数据数据、骨骼图像数据和语音数据进行数据处理；融合使用各项检测数据，结合轨道列车驾驶员语音信息、驾驶员手势信息、列车指令信号信息特征融合的方法，从技术方案上直接避免司机看错误判信号和指令的情况；该系统结构简单、操作方便，大大的降低了监测预警系统的成本，且具有准确的监测预警效果。

主权项

一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法，其特征在于，包括以下步骤：步骤1：利用设置于驾驶室前方的Kinect传感器采集阵列采集轨道列车驾驶员工作状态信息；所述轨道列车驾驶员工作状态信息包括轨道列车驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；步骤2：对轨道列车驾驶员工作状态信息进行数据处理；对采集到的轨道列车驾驶员彩色图像进行轨道列车驾驶员心率检测；对采集到的轨道列车驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占连续驾驶时间的比例PERCLOS值；对采集到的轨道列车驾驶员骨骼图像数据和深度数据进行手势识别与匹配，获得轨道列车驾驶员发出的手势指令信号；对采集到的轨道列车驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动态动作进行特征融合匹配，获取轨道列车驾驶员发出的语音指令信号；步骤3：对步骤2的数据处理结果进行预警；若轨道列车驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；利用轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值输入轨道列车驾驶员疲劳驾驶状态模型，得到轨道列车驾驶员疲劳状态，若轨道列车驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。