[发明专利]一种眼部行为检测方法、装置以及存储介质

权利要求书

1.一种眼部行为检测方法，其特征在于，包括：

在目标视频的视频帧上滑动时间窗口，得到目标对象的图像序列，所述图像序列包括多张具有时序关系的图像；

对每张图像的眼部区域进行特征提取，得到多个具有时序关系的眼部区域的初始特征信息；

根据所述眼部区域的时序关系，将所述眼部区域的初始特征信息和差值特征信息融合，得到多个具有时序关系的融合深度特征信息；

根据多个具有时序关系的融合深度特征信息，得到每一张图像的眼部行为为预设眼部行为的概率值，其中，多个概率值具有时序关系；

根据所述多个具有时序关系的概率值，生成概率曲线坐标系；

根据所述概率曲线坐标系，对目标对象的眼部行为进行分析，确定目标对象是否存在预设眼部行为。

2.根据权利要求1所述的眼部行为检测方法，其特征在于，所述根据所述概率曲线坐标系，对目标对象的眼部行为进行分析，确定目标对象是否存在预设眼部行为，包括：

根据多个具有时序关系的概率值生成概率曲线坐标系，其中，所述概率曲线坐标系的横轴为时间轴，竖轴为概率值；

基于所述概率曲线坐标系，确定目标对象是否存在预设眼部行为。

3.根据权利要求2所述的眼部行为检测方法，其特征在于，所述基于所述概率曲线，确定目标对象是否存在预设眼部行为，包括：

若所述概率曲线坐标系中的参数点大于第一预设阈值，且所述参数点与预设区间边界点之间概率值大于零的数量大于第二预设阈值时，确定所述参数点对应的目标对象存在预设眼部行为。

4.根据权利要求1所述的眼部行为检测方法，其特征在于，所述对每张图像的眼部区域进行特征提取，得到多个具有时序关系的眼部区域的初始特征信息，包括：

对每张图像进行眼部区域检测，得到多个具有时序关系的眼部区域；

根据所述眼部区域的时序关系，对所述眼部区域进行特征提取，得到多个具有时序关系的眼部区域的初始特征信息。

5.根据权利要求4所述的眼部行为检测方法，其特征在于，所述对每张图像进行眼部区域检测，得到多个具有时序关系的眼部区域，包括：

对每张图像进行脸部识别，得到多个具有时序关系的脸部区域，确定每一张脸部区域的脸部特征点；

根据每张脸部区域的脸部特征点确定每张图像眼部区域的中心点和眼部区域的宽和高的特征点；

基于每张图像眼部区域的中心点和眼部区域的宽和高的特征点，得到多个具有时序关系的眼部区域。

6.根据权利要求1所述的眼部行为检测方法，其特征在于，所述根据多个具有时序关系的融合深度特征信息，得到每一张图像的眼部行为为预设眼部行为的概率值，包括：

将多个具有时序关系的融合深度特征信息输入长短期记忆网络，得到多个样本隐藏状态；

将多个样本隐藏状态按照时序进行融合得到多时序尺度特征；

将所述多时序尺度特征经过分类器得到每一张图像的眼部行为为预设眼部行为的概率值。

7.根据权利要求1所述的眼部行为检测方法，其特征在于，所述将眼部区域的初始特征信息和差值特征信息进行融合，得到多个具有时序关系的融合深度特征信息，包括：

将每一张眼部区域的初始特征信息与前一张眼部区域的初始特征信息相减得到的差值特征信息，将所述差值特征信息与相邻初始特征信息融合得到融合深度特征信息。