[发明专利]一种双模态特征融合的驾驶员疲劳等级识别系统

说明书

一种双模态特征融合的驾驶员疲劳等级识别系统，所述系统包括图像采集模块、面部行为识别模块和行驶记录仪主机，所述图像采集模块与行驶记录仪主机均与面部行为识别模块连接，所述行驶记录仪主机还与车辆的CAN总线连接；所述图像采集模块用于采集驾驶员的人脸动态图像；所述面部行为识别模块用于从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征；所述行驶记录仪主机用于从车辆CAN总线获取并解析车辆运行信息，通过车辆运行信息计算出驾驶行为特征，并通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级。本发明克服了单一信息源的局限性，并充分考虑了各信息源的相关性和互补性，疲劳等级分析更加准确。

技术领域

本发明涉及疲劳驾驶预测领域，具体涉及一种双模态特征融合的驾驶员疲劳等级识别系统。

背景技术

国家统计局数据显示，我国近五年来每年交通事故发生次数均超过12万起，其中货车交通事故尤为严重，2016年全国共发生货车责任道路交通事故5.04万起，造成2.5万人死亡、4.68万人受伤，货车事故率高于普通机动车辆，且造成的损失也高于平均水平。其中，因为疲劳驾驶造成的交通运输事故每年给人民生命财产安全造成重大损失，各种研究表明，在所有道路事故中，约有20％与疲劳有关，在某些道路上高达50％。我国有关部门对货运车辆驾驶人抽样调查结果显示：84%货运车辆驾驶人日均驾驶时间超过8小时，其中40%超过12 小时，64%货运车辆只配备了1名驾驶人。

故，疲劳驾驶检测系统可帮助防止因驾驶员困倦而引起的事故。目前市面上单一的疲劳驾驶检测手段存在诸多弊端，比如利用驾驶行为特征分析时，总线数据种类多、数据量大，疲劳驾驶的特征行为极难识别和提取，而且每个司机驾驶习惯不一样，导致无法智能识别；利用面部状态识别的方法，能够有效识别驾驶员闭眼、打哈欠、打电话等动作，但是在舱内光线环境较差或摄像头被遮挡时无法正常工作。

发明内容

为解决上述技术问题，本发明提供一种双模态特征融合的驾驶员疲劳等级识别系统，结合眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级，以克服单一信息源的局限性，并充分考虑了各信息源的相关性和互补性。

本发明的技术方案如下：

一种双模态特征融合的驾驶员疲劳等级识别系统，所述系统包括图像采集模块、面部行为识别模块和行驶记录仪主机，所述图像采集模块与行驶记录仪主机均与面部行为识别模块连接，所述行驶记录仪主机还与车辆的CAN总线连接；

所述图像采集模块用于采集驾驶员的人脸动态图像；

所述面部行为识别模块用于从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征；

所述行驶记录仪主机用于从车辆CAN总线获取并解析车辆运行信息，通过车辆运行信息计算出驾驶行为特征，并通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级。

其中，所述眼部闭合特征包括最长闭眼时间、眨眼频率和闭眼时间百分比，所述嘴部张合特征包括最长嘴部张开时间、打哈欠频率和嘴部张开时间百分比；

其中，所述行驶记录仪主机包括车辆运行信息采集模块和驾驶行为特征计算模块，所述车辆运行信息采集模块用于从车辆CAN总线获取并解析车辆运行信息，所述驾驶行为特征计算模块用于通过车辆运行信息计算出驾驶行为特征，其中，所述车辆运行信息包括方向盘转角SA和方向盘转角速度SAR，驾驶行为特征包括方向盘转角绝对均值SAMEAN、方向盘转角标准差SASTD、方向盘转角下四分位值均值SAQ1MEAN、方向盘转角上四分位值均值SAQ3MEAN、方向盘转角熵SE、方向盘转角速度绝对值均值SAVMEAN、方向盘转角速度标准差SAVSTD、零速百分比PNS和累计行驶时长；

其中，所述行驶记录仪主机还包括疲劳预测神经网络模型，通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级具体为：