[发明专利]基于长短期记忆网络的驾驶员疲劳检测

说明书

本发明涉及一种基于长短期记忆网络的驾驶员疲劳检测方法，包括：1)借助红外采集设备采集驾驶员人脸视频图像；2)利用多任务级联的卷积神经网络进行人脸检测与特征点定位，根据特征点之间的几何关系获取驾驶员人眼图像序列；3)设计了一种端到端的卷积循环神经网络，提取人眼空间特征，同时分析相邻图像帧之间上下文关系，结合一段时间内人眼图像特征的时序变化来判断驾驶员是否处于疲劳状态。结果表明，该方法在光线条件差以及驾驶员佩戴墨镜等情况下，也能准确地提取眼部特征，相比于基于CNN结合PERCLOS标准的疲劳检测方法，取得了更高的疲劳检测准确率，实现了对驾驶员驾驶状态视频级别的预测。

技术领域

本发明涉及一种基于长短期记忆网络的驾驶员疲劳检测方法，在灵敏度、鲁棒性以及准确性方面比现有技术较优，具有很好的检测性能，属于图像处理、深度学习领域。

背景技术

研究表明，疲劳驾驶是引发交通事故的重要原因之一，各国法律法规都明令禁止疲劳驾驶。但由于其明显的渐变、隐蔽和主观抑制特性，监管机构难以及时监测。若在驾驶员出现疲劳状态时及时提醒，将有效地避免交通事故的发生。因此，对驾驶员进行疲劳检测具有重大的研究意义以及社会价值。

基于视觉特征的疲劳检测方法已被广泛关注，目前存在一些难点：(1)当前驾驶员疲劳检测相关数据集相对匮乏；(2)实际的驾驶过程中，驾驶环境复杂多样，光线的变化对提取视觉特征造成了很大的干扰；(3)面部朝向以及头部姿态的变化一定程度上会影响驾驶员脸部图像采集的完整性。另外当驾驶员佩戴眼镜或者墨镜时，会对眼睛区域造成遮挡。

传统的驾驶员疲劳检测方法有很多种，但是存在很多弊端。基于生理信号的疲劳检测方法在理论上具有较高的检测准确率，但是在实际应用中很容易受环境因素、检测仪器、仪器测量的准确性以及驾驶员个人驾驶习惯等的影响，抗干扰能力差，检测设备价格昂贵，在实际使用过程中，生理信号的测量需要佩戴仪器，通常为接触式的检测，会对驾驶员带来不便和干扰，可操作性不强，难以大范围推广；基于驾驶行为特征的疲劳检测方法会受到不同驾驶员的驾驶习惯差异、车辆型号和道路状况等因素的影响，由于存在个体差异，难以确定驾驶员疲劳的评级指标的阈值，疲劳特征的参数和疲劳程度之间的相关性不容易被量化。

近年来，深度学习算法取得了重大突破，将深度学习引入疲劳检测领域，通过卷积神经网络等算法对驾驶员视觉特征进行提取与分析，最后做出疲劳判决，这种做法不仅保留了传统机器视觉算法与人体无接触的优点，还降低了对特定参数阈值的依赖以及个体差异带来的影响，很大程度上提高了疲劳检测的准确率。

发明内容

本发明提出了一种基于深度学习以及驾驶员眼部特征的疲劳检测方法，将疲劳检测问题看作基于人眼图像序列的识别问题，首先通过多任务级联的卷积神经网络进行驾驶员人脸检测与特征点定位，根据特征点之间的几何关系获取驾驶员人眼图像序列，提取一段时间内驾驶员眼部状态的空间时序特征，最后根据眼部相邻帧的特征之间的上下文关系做出疲劳判决。

本发明的技术方案，包括下列步骤：

步骤1：搭建红外视频采集系统分别采集驾驶员在不戴眼镜、戴墨镜、戴近视眼镜三种情况下的人脸视频图像组成疲劳检测数据集；

步骤2：利用基于多任务级联的卷积神经网络的检测算法通过对三个卷积神经网络进行级联，可以同时实现人脸检测与脸部特征点定位；

步骤3：对步骤2中的人脸图像进行处理，驾驶员眼睛区域可以根据得到的特征点坐标结合眼睛分布的对称性和实验测试结果确定位置约束条件来求解；

步骤4：将步骤3中得到的驾驶员人眼图像序列数据输入到端到端的卷积循环神经网络中，将深层卷积结构与长短期记忆单元结合，通过分析一段时间内人眼图像序列的时序关系进行疲劳判决。

与现有技术相比，本发明的有益效果是：