[发明专利]基于深度学习的眼睛睁闭状态检测方法

说明书

本发明公开了一种基于深度学习的眼睛睁闭状态检测方法。本发明直接对单幅图像进行处理，只要能在图像上检测到人脸，就能检测到人眼中心点的位置，并以此得到眼睛区域图像；眼睛睁闭状态分类的准确率较高；对光照变化，场景变化和脸部转动、倾斜等姿态变化有较强的鲁棒性；运行速率快，能够满足实际应用的实时性要求；硬件要求简单，易于大规模推广。

技术领域

本发明涉及图像处理技术领域，具体为一种基于深度学习的眼睛睁闭状态检测方法。

背景技术

眼睛是人脸最重要的组成部分，能够传递许多的信息。通过检测眼睛的睁闭状态，可以计算眨眼频率并以此判断人是否处于疲劳状态，相比传统的利用心电或者脑电的穿戴式设备更加经济简便，对使用者无侵入性。此外，眼睛的睁闭状态还与人的表情紧密相关，对人眼的状态检测能够辅助表情识别等相关工作。

目前专门针对眼睁闭眼状态检测的方法主要分为基于特征分析和基于模式分类的检测方法。基于特征分析的方法主要有模板匹配、脸部投影、瞳孔检测等；基于模式分类的检测算法主要是提取眼睛区域的特征，比如LBP特征、Gabor小波等特征，并借助SVM、Adaboost等分类器判断眼睛区域图像是睁眼图像还是闭眼图像。然而，在实际应用中，这些方法都很容易受到光照变化、面部表情变化、脸部转动等姿态变化的干扰，出现眼睛定位不准确、睁闭眼状态错误判断等问题。

发明内容

针对现有技术的不足，本发明提供了一种基于深度学习的眼睛睁闭状态检测方法，它能对眼睛的睁闭状态进行判断，而且准确率较高，对光照变化，场景变化和脸部转动、倾斜等姿态变化有较强的鲁棒性，运行速率快，能够满足实际应用的实时性要求，且硬件要求低，以克服现有技术的不足。

为实现以上目的，本发明通过以下技术方案予以实现：基于深度学习的眼睛睁闭状态检测方法，包括如下步骤：

1)对输入图像进行人脸检测，如果检测到人脸，就记录下当前人脸区域，得到人脸区域图像，如果当前输入图像没有检测到人脸，则结束对当前输入图像的处理，继续对下一帧输入图像进行人脸检测；

2)将人脸区域图像统一尺寸后输入到用于人眼关键点检测的卷积神经网络模型，获得左眼和右眼的中心点的横纵坐标值；

3)根据眼睛中心点坐标值和12*6的宽高值确定眼睛所在的矩形区域，分别得到左眼和右眼的区域图像；

4)分别将左眼和右眼图像统一尺寸后输入到用于眼睛睁闭状态分类的卷积神经网络模型，得到双眼的睁闭状态结果。

在步骤2)中所述的利用卷积神经网络模型进行人眼关键点检测的具体步骤如下：

2-1)将人脸图像统一为39*39大小的灰度图像；

2-2)将步骤2-1)得到的灰度人脸图像输入到用于人眼关键点检测的卷积神经网络模型，卷积神经网络模型输出四个坐标点值，分别对应左眼中心点的横坐标值、左眼中心点的纵坐标值、右眼中心点的横坐标值及右眼中心点的纵坐标值。

所述的用于人眼关键点检测的卷积神经网络模型是一个由三个卷积层，三个最大池化层和两个全连接层组成的卷积神经网络，具体描述如下：