[发明专利]一种眼部行为检测方法、装置以及存储介质

说明书

本发明实施例公开了一种眼部行为检测方法、装置以及存储介质；在目标视频的视频帧上滑动时间窗口，得到目标对象的图像序列，图像序列包括多张具有时序关系的图像，对每张图像的眼部区域进行特征提取，得到多个具有时序关系的眼部区域的初始特征信息，根据眼部区域的时序关系，将眼部区域的初始特征信息和差值特征信息融合，得到多个具有时序关系的融合深度特征信息，根据多个具有时序关系的融合深度特征信息，得到每一张图像的眼部行为为预设眼部行为的概率值，多个概率值具有时序关系，根据所述多个具有时序关系的概率值，生成概率曲线坐标系，根据概率曲线坐标系，确定目标对象是否存在预设眼部行为。本申请可以提高眼部行为检测的准确性。

技术领域

本发明涉及行为检测技术领域，具体涉及一种眼部行为检测方法、装置以及存储介质。

背景技术

眨眼检测在现实生活当中的广泛运用的技术，眨眼检测已经在很多应用场景中落地使用。眨眼检测是动作活体检测方案的重要组成部分。活体检测是人脸核身系统中非常重要的环节，已经在很多应用场景中落地使用。其中动作活体是活体检测使用最广泛的解决方案之一，而眨眼检测又是动作活体解决方案中重中之重。

现有的眨眼检测方法中，基于特征点的位置特征进行眨眼检测，其主要技术原理是通过定位人眼关键点的位置，提取手工特征(EAR特征等)。之后利用提取出的手工特征输入分类器(SVM，人工规则等)来判断当前是否发生眨眼行为。这种基于特征点位置特征的眨眼检测方法使得眨眼检测不够准确。

发明内容

本发明实施例提供一种眼部行为检测方法、装置以及存储介质，可以提高眨眼行为检测的准确率。

本发明实施例提供了一种眼部行为检测方法，包括：

在目标视频的视频帧上滑动时间窗口，得到目标对象的图像序列，所述图像序列包括多张具有时序关系的图像；

对每张图像的眼部区域进行特征提取，得到多个具有时序关系的眼部区域的初始特征信息；

根据所述眼部区域的时序关系，将所述眼部区域的初始特征信息和差值特征信息融合，得到多个具有时序关系的融合深度特征信息；

根据多个具有时序关系的融合深度特征信息，得到每一张图像的眼部行为为预设眼部行为的概率值，其中，多个概率值具有时序关系；

根据所述多个具有时序关系的概率值，生成概率曲线坐标系；

根据所述概率曲线坐标系，对目标对象的眼部行为进行分析，确定目标对象是否存在预设眼部行为。

相应的，本发明实施例还提供了一种眨眼检测装置，包括：

获取单元，用于在目标视频的视频帧上滑动时间窗口，得到目标对象的图像序列，所述图像序列包括多张具有时序关系的图像；

提取单元，用于对每张图像的眼部区域进行特征提取，得到多个具有时序关系的眼部区域的初始特征信息；

融合单元，用于根据所述眼部区域的时序关系，将所述眼部区域的初始特征信息和差值特征信息融合，得到多个具有时序关系的融合深度特征信息；

计算单元，用于根据多个具有时序关系的融合深度特征信息，得到每一张图像的眼部行为为预设眼部行为的概率值，其中，多个概率值具有时序关系；

生成单元，用于根据所述多个具有时序关系的概率值，生成概率曲线坐标系；

确定单元，用于根据所述概率曲线坐标系，对目标对象的眼部行为进行分析，确定目标对象是否存在预设眼部行为。

可选的，在本发明的一些实施例中，所述确定单元还包括：

生成子单元，用于根据多个具有时序关系的概率值生成概率曲线坐标系，其中，所述概率曲线坐标系的横轴为时间轴，竖轴为概率值；