[发明专利]一种行为分析模型训练方法、行为分析方法及其设备

说明书

本申请公开了一种行为分析模型训练方法、行为分析方法及其设备，该模型训练方法包括：构建连续帧人眼训练数据集；基于连续帧人眼训练数据集生成一个人眼簇图像；将人眼簇图像输入待训练分析模型，以获取连续帧人眼训练数据集的眼部行为分类，其中，眼部行为分类包括眼部行为类别及其第一预测概率；基于连续帧人眼训练数据集的眼部行为分类和真实眼部行为标签获取待训练分析模型的第一预测损失，利用第一预测损失对待训练分析模型进行训练，以得到最终的行为分析模型。本申请的行为分析模型训练方法通过将连续帧人眼训练数据集的若干人眼图像帧编码到同一人眼簇图像，能够有效减少模型训练的参数冗余、复杂计算以及存储消耗，提升模型训练的效率。

技术领域

本申请涉及数字图像识别技术领域，特别是涉及一种行为分析模型训练方法、行为分析方法及其设备。

背景技术

眨眼行为是一种正常的生理反应，该行为天然地体现了生物活性。为了避免眼睛过劳，同时反应人与外界良好的交互状态，眨眼难以避免。现实生活中随着智能技术的普及，眨眼行为被广泛应用到了活体检测，疲劳监测，微表情分析，测谎系统等场景。

然而，目前基于单帧空域特征的眨眼检测学术成果存在缺少时序信息，对于行为识别存在天然的信息丢失的问题；基于传感设备与装置的眨眼检测学术成果存在设备成本较高，应用场景较难扩展到通用场景中，实用性较低的问题；基于多帧时序加权融合的眨眼检测学术成果存在复杂计算和存储消耗会使算法使用难度加大的问题。

发明内容

本申请提供一种行为分析模型训练方法、行为分析方法及其设备。

为解决上述技术问题，本申请提供的第一个技术方案为：提供一种行为分析模型训练方法，所述行为分析模型训练方法包括：

构建连续帧人眼训练数据集，其中，所述连续帧人眼训练数据集包括若干连续的人眼图像帧；

基于所述连续帧人眼训练数据集生成一个人眼簇图像；

将所述人眼簇图像输入待训练分析模型，以获取所述连续帧人眼训练数据集的眼部行为分类，其中，所述眼部行为分类包括眼部行为类别及其第一预测概率；

基于所述连续帧人眼训练数据集的眼部行为分类和真实眼部行为标签获取所述待训练分析模型的第一预测损失，利用所述第一预测损失对所述待训练分析模型进行训练，以得到最终的行为分析模型。

其中，所述构建连续帧人眼训练数据集，包括：

采用眼睛检测网络对所述监控视频流中的人眼图像进行检测，确定包括眼部区域的人眼图像作为起始帧；

基于起始帧选择连续多帧的人眼图像组成连续帧人眼训练数据集。

其中，所述基于起始帧选择连续多帧的人眼图像组成连续帧人眼训练数据集，包括：

基于所述起始帧按照预设帧步长选择连续预设帧数的人眼图像组成连续帧人眼训练数据集。

其中，所述基于起始帧选择连续多帧的人眼图像组成连续帧人眼训练数据集，包括：

基于起始帧选择连续多帧的人眼图像；

采用所述眼睛检测网络定位所述人眼图像中的眼部区域；

按照所述眼部区域对所述人眼图像进行裁剪，得到人眼区域图像；

基于连续多帧的人眼区域图像组成所述连续帧人眼训练数据集。

其中，所述按照所述眼部区域对所述人眼图像进行裁剪，得到人眼区域图像，包括：

采用人脸对齐算法将连续多帧的人眼图像进行矫正，以使得矫正后的人眼图像中眼部区域的方向一致；

按照所述眼部区域对矫正后的人眼图像进行裁剪，得到所述人眼区域图像。