[发明专利]驾驶员疲劳检测系统及其疲劳检测方法

说明书

本发明公开了一种驾驶员疲劳检测系统，包括图像预处理模块将图像处理为预设格式；面部以及面部特征点检测模块采用第一卷积神经网络检测获得面部区域和面部特征点；面部区域调整归一化模块根据人脸特征点形成面部位置框，利用面部位置框裁剪面部区域，将裁剪后的面部区域归一化处理；面部特征提取网络模块采用第二卷积神经网络在归一化后的图像中获取面部特征并获取各面部特征的置信度；疲劳程度及疲劳状态判断模块，根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用PERCLOS算法获得驾驶员疲劳状态。本发明还公开了一种驾驶员疲劳检测方法。本发明能精确获取驾驶员的面部信息，并进行融合决策准确判断驾驶员疲劳状态。

技术领域

本发明涉及汽车领域，特别是涉及一种基于深度学习和信息融合的驾驶员疲劳检测系统。本发明还涉及一种基于深度学习和信息融合的疲劳检测方法。

背景技术

根据国内外的研究表明，疲劳驾驶是发生重大事故的三大原因之一：疲劳驾驶引发的交通事故占比高达40％以上，其次为酒后驾车、车辆故障、违反交通法规等。驾驶疲劳是指驾驶员在驾驶车辆时由于种种原因产生的生理机能或者心理机能的失调(即在生理或心理上产生疲劳)，从而使驾驶员对周边环境的感知能力减弱以及对车辆的操纵能力下降，偏离正常的驾驶行为。因此，如何主动针对驾驶员的状态进行监测，并有效的提供驾驶疲劳预警，是一个亟待解决的交通安全问题。

现在对驾驶员的实时疲劳检测技术，主要采用接触式的设备，检测驾驶员的生理信号，其优点是精确，但对驾驶员驾驶操作不够友好，或者采用车辆信息进行判断，其优点是不会对驾驶员造成影响，但是精确度不高，滞后严重。因此，急需一种功能全面，安全高效的对驾驶员疲劳检测的技术。

发明内容

本发明要解决的技术问题是提供一种基于深度学习和信息融合在光照、驾驶员姿态变化等复杂条件下均能精确获取驾驶员的面部信息，判断驾驶员疲劳程度的驾驶员疲劳检测系统。

本发明还提供一种基于深度学习和信息融合在光照、驾驶员姿态变化等复杂条件下均能精确获取驾驶员的面部信息，判断驾驶员疲劳程度的驾驶员疲劳检测方法。

为解决上述技术问题，本发明提供的驾驶员疲劳检测系统，包括：图像预处理模块、面部以及面部特征点检测模块、面部区域调整归一化模块、面部特征提取网络模块和疲劳程度判断模块；

图像预处理模块，将图像处理为预设格式；

面部以及面部特征点检测模块，采用第一卷积神经网络检测获得面部区域和面部特征点；

面部区域调整归一化模块，根据人脸特征点形成面部位置框，利用面部位置框裁剪面部区域，将裁剪后的面部区域归一化处理；

面部特征提取网络模块，采用第二卷积神经网络在归一化后的图像中获取面部特征，并获取各面部特征的置信度；

疲劳程度及疲劳状态判断模块，根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用PERCLOS算法获得驾驶员疲劳状态。

进一步改进所述驾驶员疲劳检测系统，所述预设格式为单通道灰度图像，图像分辨率大于640×480。

进一步改进所述驾驶员疲劳检测系统，所述灰度转化公式为，Gray＝0.299R+0.587G+0.114B。

进一步改进所述驾驶员疲劳检测系统，所述第一卷积神经网络是多级级联卷积神经网络MTCNN。

进一步改进所述驾驶员疲劳检测系统，使多级级联卷积神经网络MTCNN输出的所有面部特征点位于面部区域内形成面部位置框，再通过面部位置框对面部区域形象裁剪。

进一步改进所述驾驶员疲劳检测系统，所述归一化是将图像转换分辨率为96×96的图像。