[发明专利]一种双模态特征融合的驾驶员疲劳等级识别方法

摘要

一种双模态特征融合的驾驶员疲劳等级识别方法，包括采集驾驶员的人脸动态图像；从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征；从车辆CAN总线获取并解析车辆运行信息，通过车辆运行信息计算出驾驶行为特征；通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级。本发明克服了单一信息源的局限性，并充分考虑了各信息源的相关性和互补性，疲劳等级分析更加准确。

主权项

1.一种双模态特征融合的驾驶员疲劳等级识别方法，其特征在于，所述方法包括；/n采集驾驶员的人脸动态图像；/n从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征；/n从车辆CAN总线获取并解析车辆运行信息，通过车辆运行信息计算出驾驶行为特征；/n通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级；/n其中，所述眼部闭合特征包括最长闭眼时间、眨眼频率和闭眼时间百分比，所述嘴部张合特征包括最长嘴部张开时间、打哈欠频率和嘴部张开时间百分比；/n其中，所述车辆运行信息包括方向盘转角SA和方向盘转角速度SAR，驾驶行为特征包括方向盘转角绝对均值SAMEAN、方向盘转角标准差SASTD、方向盘转角下四分位值均值SAQ1MEAN、方向盘转角上四分位值均值SAQ3MEAN、方向盘转角熵SE、方向盘转角速度绝对值均值SAVMEAN、方向盘转角速度标准差SAVSTD、零速百分比PNS和累计行驶时长；/n其中，通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级具体为：/n通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合形成融合特征向量集，表示为X，X={x1，x2，…，x15}，其中，x1为最长闭眼时间，x2为眨眼频率，x3为闭眼时间百分比，x4为最长嘴部张开时间，x5为打哈欠时间，x6为嘴部张开时间百分比，x7为方向盘转角绝对均值SAMEAN，x8为方向盘转角标准差SASTD，x9为方向盘转角下四分位值均值SAQ1MEAN，x10为方向盘转角上四分位值均值SAQ3MEAN，x11为方向盘转角熵SE，x12为方向盘转角速度绝对值均值SAVMEAN，x13为SAVSTD，x14为零速百分比PNS，x15为累计行驶时长；/n构建疲劳预测神经网络模型，所述疲劳预测神经网络模型使用一个全连接层进行疲劳驾驶概率判断，模型的输入为一个融合窗口内的融合特征向量集，所述融合特征向量集与所述全连接层的一个权重向量w进行向量积运算，并将向量积输入给一个Sigmoid激活函数，通过所述Sigmoid激活函数输出0到1之间的疲劳概率值y，具体公式如下：/n