[发明专利]基于机器学习和多特征融合的疲劳驾驶检测方法及系统

权利要求书

1.一种基于机器学习和多特征融合的疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法包括：

实时获取驾驶员的面部图像；

对所述面部图像进行处理，实时提取驾驶员的人脸区域，并根据所述人脸区域分割出驾驶员的眼部图像和嘴部图像；

对所述面部图像进行处理，实时获取所述面部图像内驾驶员的头部位置信息；

将所述眼部图像、所述嘴部图像以及所述头部位置信息分别输入到对应训练好的分类器中，确定驾驶员的眼部分类结果、嘴部分类结果以及头部分类结果；所述眼部分类结果包括眼部睁开图像和眼部闭合图像，所述嘴部分类结果包括嘴部张开图像和嘴部闭合图像，所述头部分类结果包括头部下降图像和头部上升图像；

对连续多帧面部图像的眼部分类结果、嘴部分类结果以及头部分类结果进行疲劳特征提取，并根据提取的疲劳特征确定驾驶员的疲劳程度；所述疲劳特征包括闭眼频率、打哈欠频率以及点头频率；

所述疲劳程度的计算公式为：

其中，T为疲劳程度的综合判断结果，t1、t2、t3分别为量化后的眼部、嘴部、头部的疲劳特征，w1、w2、w3分别为眼部、嘴部、头部的权重，n’为每秒钟分割出的驾驶员的眼部图像数，n为每秒钟检测到的驾驶员面部图像数，a为驾驶员眼部的纵横比的平均值，b为驾驶员嘴部的纵横比的平均值。

2.根据权利要求1所述的基于机器学习和多特征融合的疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法还包括：

当驾驶员的疲劳程度为疲劳驾驶时，通过外界设备对驾驶员进行提醒并警示周围行人与车辆；所述外界设备包括语音提示设备、地图导航设备以及车顶灯。

3.根据权利要求1所述的基于机器学习和多特征融合的疲劳驾驶检测方法，其特征在于，所述对所述面部图像进行处理，实时提取驾驶员的人脸区域，并根据所述人脸区域分割出驾驶员的眼部图像和嘴部图像，具体包括：

调用dlib库内的人脸检测器对所述面部图像进行检测，实时提取驾驶员的人脸区域并标注眼部特征点和嘴部特征点；

根据所述眼部特征点的位置信息和所述嘴部特征点的位置信息，在所述人脸区域内分割出驾驶员的眼部图像和嘴部图像。

4.根据权利要求1所述的基于机器学习和多特征融合的疲劳驾驶检测方法，其特征在于，所述将所述眼部图像、所述嘴部图像以及所述头部位置信息分别输入到对应训练好的分类器中，确定驾驶员的眼部分类结果、嘴部分类结果以及头部分类结果，具体包括：

将所述眼部图像输入到训练好的眼部分类器中，确定驾驶员的眼部分类结果；

将所述嘴部图像输入到训练好的嘴部分类器中，确定驾驶员的嘴部分类结果；

将所述头部位置信息输入到训练好的头部位置分类器中，确定驾驶员的头部分类结果。

5.根据权利要求1所述的基于机器学习和多特征融合的疲劳驾驶检测方法，其特征在于，所述对连续多帧面部图像的眼部分类结果、嘴部分类结果以及头部分类结果进行疲劳特征提取，并根据提取的疲劳特征确定驾驶员的疲劳程度，具体包括：

根据连续多帧面部图像的眼部分类结果，当驾驶员连续闭眼的帧数与一秒内面部图像采集的帧数的比值超过第一阈值时，记录一次闭眼动作，进而确定闭眼频率；所述闭眼频率为眼部的疲劳特征；

根据连续多帧面部图像的嘴部分类结果，记录嘴部边缘的坐标值，并根据所述嘴部边缘的坐标值计算出嘴部纵横比，当驾驶员嘴部纵横比连续超过第二阈值的帧数与一秒内面部图像采集的帧数的比值超过第三阈值时，记录一次打哈欠动作，进而确定打哈欠频率；所述打哈欠频率为嘴部的疲劳特征；

根据连续多帧面部图像的头部分类结果，确定点头频率；所述点头频率为头部的疲劳特征；

采用PERCLOS算法量化眼部、嘴部以及头部的疲劳特征，并采用多特征融合方法将量化后的疲劳特征进行融合，确定驾驶员的疲劳程度。