[发明专利]一种基于多尺度时序图像的实时眨眼检测方法

摘要

本发明公开了一种基于多尺度时序图像的实时眨眼检测方法，包括：对时序图像中的第一帧图像进行定位得到双眼位置；利用其从第一帧图像中提取人眼图像，得到人眼模板；利用人眼模板初始化人眼追踪器，利用更新后的人眼追踪器追踪时序图像，得到时序人眼图像，并更新人眼追踪器，提取处理后的时序人眼图像的人工描述子，再提取人工描述子的differ特征，并将其和人工描述子串接，得到人眼特征。将人眼特征按照时序编码成眨眼行为特征热图；再将眨眼行为特征热图按行逐条输入LSTM网络，得到多个隐藏状态；最后将多个隐藏状态进行串接得到多尺度时序特征后进行眨眼检测，判断时序图像是否含有眨眼行为。本发明提高了无约束条件下眨眼检测的正确率和稳定性。

主权项

1.一种基于多尺度时序图像的实时眨眼检测方法，其特征在于，包括：(1)建立包含人眼的时序图像的数据库，对数据库中时序图像的第一帧图像进行定位得到双眼位置；(2)利用双眼位置从第一帧图像中提取人眼图像，得到人眼模板；(3)利用人眼模板初始化人眼追踪器，利用初始化后的人眼追踪器追踪时序图像中的第一帧图像的后续帧图像并更新人眼追踪器；(4)利用更新后的人眼追踪器追踪时序图像，得到时序人眼图像，对时序人眼图像依次进行灰度化处理和图像均衡化处理，得到处理后的时序人眼图像；(5)提取处理后的时序人眼图像的人工描述子，提取人工描述子的differ特征，将differ特征和人工描述子串接，得到人眼特征，将人眼特征按照时序信息编码成一张眨眼行为特征热图；(6)将眨眼行为特征热图按行逐条输入LSTM网络，得到多个隐藏状态；(7)将多个隐藏状态进行串接得到多尺度时序特征后进行眨眼检测，判断时序图像是否包含眨眼行为。