[发明专利]一种基于卡车司机面部特征的困倦辨识方法及装置

权利要求书

1.一种基于卡车司机面部特征的困倦辨识方法，其特征在于，包括如下步骤：

采集驾驶人的人脸图像数据，构建为数据集，并对所述数据集中的人脸图像进行图像预处理；

构建并训练人脸检测模型，通过训练好的人脸检测模型对所述数据集中的人脸图像进行人脸检测及追踪；

构建并训练人脸对齐模型，基于人脸检测及追踪结果，通过训练好的人脸对齐模型进行人脸关键点定位，提取驾驶人眼动、嘴部困倦表征参数数据；

基于人脸关键点定位结果，通过三维立体空间与二维图像之间的映射关系，提取头部困倦表征参数数据；其中，头部困倦表征参数包括偏航角、翻滚角和俯仰角；

对提取的眼动、嘴部及头部困倦表征参数数据进行数据清洗及数据预处理；

基于预处理后的困倦表征参数数据构建并训练PSO-GRNN模型，通过训练好的PSO-GRNN模型对实时采集的人脸图像数据进行卡车司机困倦驾驶状态辨识；

所述的数据集包括困倦驾驶状态数据集和干扰数据集；所述困倦驾驶状态数据集包含困倦驾驶状态时的特征和标签数据，所述干扰数据集包含驾驶人正常驾驶时的特征和标签数据；

所述卡车司机困倦驾驶状态辨识的具体方法包括：

S601、利用RFE算法对数据预处理后的特征进行筛选，得到最优特征矩阵；

S602、构建PSO-GRNN模型，并对所述PSO-GRNN模型进行参数初始化；

所述构建PSO-GRNN模型，通过PSO算法对GRNN模型中光滑因子σ进行优化，步骤如下：

1)初始化粒子群，并设置粒子群算法的基本参数；

2)将粒子位置映射到GRNN网络中，构建GRNN困倦驾驶状态辨识模型；

3)将特征选择后的包含一定比例的困倦驾驶状态数据和干扰数据集输入到GRNN神经网络中进行模型训练；

4)更新粒子pbest；

5)更新全局最优位置gbest；

6)根据pbest和gbest更新和调整粒子的当前位置和速度；

7)判断是否满足条件或最大迭代次数，如果达到最大迭代次数，则PSO优化结束，将gbest映射到GRNN中进行网络模型的测试；

S603、基于最优特征矩阵对所述PSO-GRNN模型进行训练，得到训练好的PSO-GRNN模型；其中，训练过程中，通过PSO算法优化GRNN神经网络的光滑因子；

S604、实时采集基于时间序列的驾驶状态数据，通过滑动窗口算法将所述驾驶状态数据输入到训练好的PSO-GRNN模型，得到卡车司机困倦状态的辨识结果。

2.根据权利要求1所述的基于卡车司机面部特征的困倦辨识方法，其特征在于，对所述数据集中的人脸图像进行图像预处理的方法包括：灰度化处理、局部方差均衡化处理。

3.根据权利要求1所述的基于卡车司机面部特征的困倦辨识方法，其特征在于，所述人脸检测模型基于MTCNN卷积神经网络进行构建，并通过公开人脸数据集进行人脸检测模型训练，得到训练好的人脸检测模型；通过训练好的人脸检测模型对所述数据集中的人脸图像进行人脸检测及追踪。

4.根据权利要求1所述的基于卡车司机面部特征的困倦辨识方法，其特征在于，所述人脸对齐模型采用MobileV3Net_small与CNN相结合的深度神经网络进行构建；所述MobileV3Net_small神经网络为主网络，用于预测人脸关键点在图像坐标系中的坐标，完成人脸关键点定位；所述CNN为辅网络，用于对所述主网络进行约束。

5.根据权利要求1所述的基于卡车司机面部特征的困倦辨识方法，其特征在于，头部困倦表征参数数据的提取方法包括：

利用张正友标定法求解相机内部参数矩阵，EPnP算法求得相机外部的旋转矩阵和偏移矩阵，将二维关键点坐标与标准三维人脸模型进行对应，求解出三维立体空间与二维图像之间的映射关系，提取偏航角、翻滚角和俯仰角困倦表征参数。