[发明专利]一种基于多尺度时序图像的实时眨眼检测方法

说明书

本发明公开了一种基于多尺度时序图像的实时眨眼检测方法，包括：对时序图像中的第一帧图像进行定位得到双眼位置；利用其从第一帧图像中提取人眼图像，得到人眼模板；利用人眼模板初始化人眼追踪器，利用更新后的人眼追踪器追踪时序图像，得到时序人眼图像，并更新人眼追踪器，提取处理后的时序人眼图像的人工描述子，再提取人工描述子的differ特征，并将其和人工描述子串接，得到人眼特征。将人眼特征按照时序编码成眨眼行为特征热图；再将眨眼行为特征热图按行逐条输入LSTM网络，得到多个隐藏状态；最后将多个隐藏状态进行串接得到多尺度时序特征后进行眨眼检测，判断时序图像是否含有眨眼行为。本发明提高了无约束条件下眨眼检测的正确率和稳定性。

技术领域

本发明属于数字图像识别技术领域，更具体地，涉及一种基于多尺度时序图像的实时眨眼检测方法。

背景技术

随着各种智能化的应用设备的普及，通过观测人的眨眼行为来反应目标当前状态应成为一种良好的人际交互方式，所以无论是活体验证，疲劳驾驶检测，测谎等情形都对其有着很大的需求。

目前的主要的眨眼检测算法主要分为以下两种：一种是提取单帧传统特征(LBP，HOG等)，然后利用分类器(SVM，Adboost等)进行训练，得出判定当前眼睛的睁闭状态；另一种就是基于某种启发式规则进行眨眼检测，如hough变换检测瞳孔等。

上述方法存在以下不足之处，对于第一种方法，由于眨眼是一种时序行为，单张图片的特征判断眼睛状态并不能解释这一行为，同时单张图片的检测算法在自然条件下成功率低，鲁棒性差。另一种算法是基于某些启发式规则进行的眨眼检测，这种算法在无约束条件下存在模型能力不足，极易误判，并且如检测连通域中心变化等规则在自然条件下会出现规则崩溃，无法检测的现象。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多尺度时序图像的实时眨眼检测方法，其目的在于通过引入多帧时序图像中的时序信息，同时对图像提取人工描述子，编码得到眨眼行为特征图，再考虑不同时序尺度，以提高自然条件下眨眼检测的正确率和稳定性。由此解决现有技术存在正确率低和稳定性差的技术问题。

为实现上述目的，本发明提供了一种基于多尺度时序图像的实时眨眼检测方法，包括：

(1)建立包含人眼的时序图像的数据库，对数据库中时序图像的第一帧图像进行定位得到双眼位置；

(2)利用双眼位置从第一帧图像中提取人眼图像，得到人眼模板；

(3)利用人眼模板初始化人眼追踪器，利用初始化后的人眼追踪器追踪时序图像中的第一帧图像的后续帧图像并更新人眼追踪器；

(4)利用更新后的人眼追踪器追踪时序图像，得到时序人眼图像，对时序人眼图像依次进行灰度化处理和图像均衡化处理，得到处理后的时序人眼图像；

(5)提取处理后的时序人眼图像的人工描述子，提取人工描述子的differ特征，再将differ特征和人工描述子串接，得到人眼特征，之后将人眼特征按照时序信息编码成一张眨眼行为特征热图；

(6)将眨眼行为特征热图按行逐条输入LSTM网络，得到多个隐藏状态；

(7)将多个隐藏状态进行串接得到多尺度时序特征后进行眨眼检测，判断时序图像中是否包含眨眼行为。

进一步地，步骤(1)包括：

利用包含人眼的视频数据库建立包含人眼的时序图像的数据库，利用人脸对齐算法对数据库中时序图像的第一帧图像进行定位得到双眼位置。

进一步地，步骤(2)包括：

(2-1)利用双眼位置，得到双眼之间的距离，基于双眼之间的距离确定人眼区域的宽高，得到人眼区域；