[发明专利]一种基于深度学习多特征融合的驾驶员疲劳检测方法

说明书

本发明公开了一种基于深度学习多特征融合的驾驶员疲劳检测方法，涉及驾驶员疲劳检测方法技术领域，包括以下步骤：数据预处理：利用相机、摄像头等采集设备进行连续拍摄，并将得到的图像进行预处理；人脸识别及特征提取：通过多任务级卷积网络模型获得预处理后的图像上的人脸区域及眼睛、嘴巴区域；并行检测：分别进行头部姿态估计、眼睛姿态估计和嘴巴姿态估计；疲劳检测：根据PERCLOS参数、打哈欠参数和点头参数判断是否疲劳，相对于现有技术，本发明避免了实际应用时复杂的图像处理过程，并且在实时性、准确性及鲁棒性上有较好的效果，有很好的检测性能，有更高的疲劳检测准确率。

技术领域

本发明涉及驾驶员疲劳检测领域，尤其涉及一种基于深度学习多特征融合的驾驶员疲劳检测方法。

背景技术

近几十年来，随着人们生活水平的不断提高，汽车的数量也在逐步增加。随着汽车的增加，给人们生活带来快捷与方便的同时，频繁的交通事故也带来了惨重的经济损失，人民的生命也受到了威胁。因此驾驶员疲劳检测技术的研究对于预防交通事故有着重要的意义。

检测驾驶员疲劳主要是从三个方面来进行检测监控，包括：

基于车辆状态的方法：通过方向盘转角程度、方向盘转向握力，车速、车辆偏移、制动踏板力和加速踏板力等检测疲劳；

生理信号测量：当驾驶员处于疲劳状态时，驾驶员的生理指标，例如脑电波[脑电信号]，电活动心脏[心电信号]，与肌肉相关的电活动[肌电信号]偏离正常值；

计算机视觉检测：当驾驶员比较困倦时，其面部特征与清醒状态的面部特征不同。

但是，基于车辆状态的方法的分析结果容易受到个人驾驶习惯、天气、车辆特性及道路状况等外界环境因素的影响，鲁棒性不强，且只有在驾驶员即将发生交通事故时才能检测到异常，不能提前预警，同时大多数机载生理传感器是复杂的并且必须附着在人体皮肤表面，这会引起驾驶员的不适，并且会因影响驾驶员的正常操作而引发交通安全事故。

而计算机视觉检测的方法是通过提取的特征参数主要有眼动特性(眨眼频率，PERCLOS，眼睛睁闭程度，注视方向等)，由于面部特征的变化比较明显，且深度学习(DL)在图像处理方面卓越的贡献，使得基于计算机视觉的疲劳检测易达到较好的性能。

然而，目前基于计算机视觉的疲劳检测方法仅仅用眼睛特征或嘴巴特征作为判断依据，默认相机能拍摄到驾驶员清晰正面的脸，目前存在一些难点：(1)有关疲劳检测的数据集相对匮乏；(2)抗干扰性不强：实际行车中可能由于各种因素的影响，使采集的图像出现光照分布不均匀等现象影响疲劳检测；(3)面部朝向以及头部姿态的变化会影响驾驶员脸部图像采集而影响疲劳检测；(4)现有检测系统实时性和准确率都不高。

发明内容

本发明的目的在于针对现有技术的不足之处，提供一种基于深度学习多特征融合的驾驶员疲劳检测方法，包括以下步骤：数据预处理：利用相机、摄像头等采集设备进行连续拍摄，并将得到的图像进行预处理；人脸识别及特征提取：通过多任务级卷积网络模型获得预处理后的图像上的人脸区域及眼睛、嘴巴区域；并行检测：分别进行头部姿态估计、眼睛姿态估计和嘴巴姿态估计；疲劳检测：根据PERCLOS参数、打哈欠参数和点头参数判断是否疲劳，以解决现有技术中抗干扰性不强、面部朝向以及头部姿态的变化会影响驾驶员脸部图像采集而影响疲劳检测等问题。

一种基于深度学习多特征融合的驾驶员疲劳检测方法，包括以下步骤：

1)数据预处理：利用相机、摄像头等采集设备进行连续拍摄，并将得到的图像进行预处理；

2)人脸识别及特征提取：通过多任务级卷积网络模型获得预处理后的图像上的人脸区域及眼睛、嘴巴区域；

3)并行检测：分别进行头部姿态估计、眼睛姿态估计和嘴巴姿态估计；

4)疲劳检测：根据PERCLOS参数、打哈欠参数和点头参数判断是否疲劳。