[发明专利]一种多角度驾驶员疲劳程度评估方法

说明书

本发明涉及车辆辅助驾驶系统技术领域，特别是涉及一种多角度驾驶员疲劳程度评估方法，包括训练步骤和测试步骤；训练步骤包括采集多角度驾驶员疲劳面部图像，并对采集的图像进行标记分类，形成多角度驾驶员疲劳数据集；建立疲劳检测模型的网络结构；根据多角度驾驶员疲劳数据集，使用迁移学习训练疲劳检测模型；测试步骤包括以下具体步骤：使用单个相机获取驾驶员的面部图像；将获取到的面部图像输入驾驶员疲劳检测模型，以输出图像疲劳分类结果；累积计算疲劳帧数，对驾驶员疲劳程度进行评估。本发明的方法能够实现使用单个RGB相机对驾驶员的疲劳程度多角度、准确、快速的检测。

技术领域

本发明涉及车辆辅助驾驶系统技术领域，特别是涉及一种多角度驾驶员疲劳程度评估方法。

背景技术

疲劳会显著降低驾驶员的注意力和反应能力，从而增加事故发生的概率。根据美国汽车协会交通安全基金会的一项研究报告，每年约有32.8万起驾驶事故与驾驶员疲劳有关。此外，疲劳检测在人机共驾中尤为重要，因为疲劳会显著降低驾驶员的接管表现，且人机共驾下的驾驶员会比传统的纯人驾驶更容易产生疲劳。因此，准确检测驾驶员的疲劳状态对保证交通安全至关重要。

目前，驾驶员疲劳自动化检测主要依靠三种信息，即机器视觉信息、生理信号和车辆状态信息。车辆状态信息包括转向角、车道偏离和加速度等数据。由于车辆状态信息与驾驶员疲劳状态间接相关，依靠这类信息的方法的鲁棒性和准确性较低。生理信号包括心电图、脑电图、肌电图和心率变异性等数据。生理信号能有效地反映驾驶员的疲劳状态，但测量装置对信号噪声敏感，而且医疗级的检测设备价格昂贵。机器视觉信号主要是驾驶员的人脸图像信息，随着机器视觉的发展，基于机器视觉信号的疲劳检测方法成为近年来的主要趋势，它具有成本低，精度和鲁棒性较高等优点。

基于机器视觉的驾驶员疲劳检测方法可以进一步细分为两种流程。一种是基于两步检测来实现对疲劳的检测。第一步是从视频中提取如眼睑闭合时间、眨眼频率和打哈欠等手工设计的与疲劳相关的特征。然后，根据这些特征推断驾驶员的疲劳状态。该方法所需疲劳数据量少，但操作复杂且鲁棒性低。另一种是端到端的数据驱动方法，模型自动从视频中提取特征以判断驾驶员疲劳。这类方法简单且准确率高，然而端到端的方法基于深度学习，需要大量的训练数据以避免过度拟合。

目前大多数的基于机器视觉的疲劳检测方法只针对驾驶员的正脸图像，没有考虑驾驶员和相机相对位姿变化对疲劳检测的影响。然而，在现实世界中，相机和驾驶员面部之间的相对姿势总是在变化，并且姿势变化通常很大。此外，在自动驾驶车辆上，驾驶员能够进行玩手机等非驾驶相关活动，驾驶员和相机相对位姿具有高度的不确定性。驾驶员和相机相对位姿变化会导致人脸信息获取的不一致，从而难以实现准确鲁棒的驾驶员疲劳检测。

发明内容

本发明的目的在于提供一种单个相机下能多角度检测驾驶员疲劳的方法，该方法基于深度学习，创新的使用多角度图像训练集训练深度学习驾驶员疲劳检测模型，并使用迁移学习解决使用深度学习检测驾驶员疲劳时训练样本不足的问题，利用数据丰富的人脸检测和人脸对齐领域的知识来提高驾驶员疲劳检测模型的性能，从而使得训练出的模型能够多角度检测驾驶员的疲劳。

本发明的技术方案，一种多角度驾驶员疲劳程度评估方法，包括训练步骤和测试步骤；

训练步骤包括以下具体步骤：

采集多角度驾驶员疲劳面部图像，并对采集的图像进行标记分类，形成多角度驾驶员疲劳数据集；

建立疲劳检测模型的网络结构；

根据多角度驾驶员疲劳数据集，使用迁移学习训练疲劳检测模型；

测试步骤包括以下具体步骤：

使用单个相机获取驾驶员的面部图像；

将获取到的面部图像输入驾驶员疲劳检测模型，以输出图像疲劳分类结果；

累积计算疲劳帧数，对驾驶员疲劳程度进行评估。