[发明专利]一种双模态特征融合的驾驶员疲劳等级识别系统

权利要求书

1.一种双模态特征融合的驾驶员疲劳等级识别系统，其特征在于，所述系统包括图像采集模块、面部行为识别模块和行驶记录仪主机，所述图像采集模块与行驶记录仪主机均与面部行为识别模块连接，所述行驶记录仪主机还与车辆的CAN总线连接；

所述图像采集模块用于采集驾驶员的人脸动态图像；

所述面部行为识别模块用于从采集的所述人脸动态图像中识别眼部闭合特征和嘴部张合特征；

所述行驶记录仪主机用于从车辆CAN总线获取并解析车辆运行信息，通过车辆运行信息计算出驾驶行为特征，并通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级；

其中，所述眼部闭合特征包括最长闭眼时间、眨眼频率和闭眼时间百分比，所述嘴部张合特征包括最长嘴部张开时间、打哈欠频率和嘴部张开时间百分比；

其中，所述行驶记录仪主机包括车辆运行信息采集模块和驾驶行为特征计算模块，所述车辆运行信息采集模块用于从车辆CAN总线获取并解析车辆运行信息，所述驾驶行为特征计算模块用于通过车辆运行信息计算出驾驶行为特征，其中，所述车辆运行信息包括方向盘转角SA和方向盘转角速度SAR，驾驶行为特征包括方向盘转角绝对均值SAMEAN、方向盘转角标准差SASTD、方向盘转角下四分位值均值SAQ1MEAN、方向盘转角上四分位值均值SAQ3MEAN、方向盘转角熵SE、方向盘转角速度绝对值均值SAVMEAN、方向盘转角速度标准差SAVSTD、零速百分比PNS和累计行驶时长；

其中，所述行驶记录仪主机还包括疲劳预测神经网络模型，通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合分析驾驶员疲劳等级具体为：

通过眼部闭合特征、嘴部张合特征以及驾驶行为特征融合形成融合特征向量集，表示为X，X={x1，x2，…，x15}，其中，x1为最长闭眼时间，x2为眨眼频率，x3为闭眼时间百分比，x4为最长嘴部张开时间，x5为打哈欠时间，x6为嘴部张开时间百分比，x7为方向盘转角绝对均值SAMEAN，x8为方向盘转角标准差SASTD，x9为方向盘转角下四分位值均值SAQ1MEAN，x10为方向盘转角上四分位值均值SAQ3MEAN，x11为方向盘转角熵SE，x12为方向盘转角速度绝对值均值SAVMEAN，x13为SAVSTD，x14为零速百分比PNS，x15为累计行驶时长；

所述疲劳预测神经网络模型使用一个全连接层进行疲劳驾驶概率判断，模型的输入为一个融合窗口内的融合特征向量集，所述融合特征向量集与所述全连接层的一个权重向量w进行向量积运算，并将向量积输入给一个Sigmoid激活函数，通过所述Sigmoid激活函数输出0到1之间的疲劳概率值y，具体公式如下：

。

2.根据权利要求1所述的双模态特征融合的驾驶员疲劳等级识别系统，其特征在于，所述图像采集模块包括可见光摄像头和红外摄像头；所述可见光摄像头用于白天采集驾驶员的人脸动态图像，所述红外摄像头用于夜间采集驾驶员的人脸动态图像。

3.根据权利要求1所述的双模态特征融合的驾驶员疲劳等级识别系统，其特征在于，所述最长闭眼时间、所述闭眼时间百分比、所述最长嘴部张开时间和所述嘴部张开时间百分比对应的时间窗为10秒，所述眨眼频率和打哈欠频率对应的时间窗为60秒。