[发明专利]一种行为分析模型训练方法、行为分析方法及其设备

权利要求书

1.一种行为分析模型训练方法，其特征在于，所述行为分析模型训练方法包括：

构建连续帧人眼训练数据集，其中，所述连续帧人眼训练数据集包括若干连续的人眼图像帧；

基于所述连续帧人眼训练数据集生成一个人眼簇图像；

将所述人眼簇图像输入待训练分析模型，以获取所述连续帧人眼训练数据集的眼部行为分类，其中，所述眼部行为分类包括眼部行为类别及其第一预测概率；

基于所述连续帧人眼训练数据集的眼部行为分类和真实眼部行为标签获取所述待训练分析模型的第一预测损失，利用所述第一预测损失对所述待训练分析模型进行训练，以得到最终的行为分析模型。

2.根据权利要求1所述的行为分析模型训练方法，其特征在于，

所述构建连续帧人眼训练数据集，包括：

采用眼睛检测网络对所述监控视频流中的人眼图像进行检测，确定包括眼部区域的人眼图像作为起始帧；

基于起始帧选择连续多帧的人眼图像组成连续帧人眼训练数据集。

3.根据权利要求2所述的行为分析模型训练方法，其特征在于，

所述基于起始帧选择连续多帧的人眼图像组成连续帧人眼训练数据集，包括：

基于所述起始帧按照预设帧步长选择连续预设帧数的人眼图像组成连续帧人眼训练数据集。

4.根据权利要求2所述的行为分析模型训练方法，其特征在于，

所述基于起始帧选择连续多帧的人眼图像组成连续帧人眼训练数据集，包括：

基于起始帧选择连续多帧的人眼图像；

采用所述眼睛检测网络定位所述人眼图像中的眼部区域；

按照所述眼部区域对所述人眼图像进行裁剪，得到人眼区域图像；

基于连续多帧的人眼区域图像组成所述连续帧人眼训练数据集。

5.根据权利要求4所述的行为分析模型训练方法，其特征在于，

所述按照所述眼部区域对所述人眼图像进行裁剪，得到人眼区域图像，包括：

采用人脸对齐算法将连续多帧的人眼图像进行矫正，以使得矫正后的人眼图像中眼部区域的方向一致；

按照所述眼部区域对矫正后的人眼图像进行裁剪，得到所述人眼区域图像。

6.根据权利要求1或5所述的行为分析模型训练方法，其特征在于，

所述基于所述连续帧人眼训练数据集生成一个人眼簇图像，包括：

将所述连续帧人眼训练数据集中若干人眼图像帧按照预设图像编码规则编码到同一张图像中，以生成所述人眼簇图像。

7.根据权利要求6所述的行为分析模型训练方法，其特征在于，

所述预设图像编码规则包括所述连续帧人眼训练数据集中若干人眼图像帧的采集时间顺序。

8.根据权利要求1所述的行为分析模型训练方法，其特征在于，

所述待训练分析模型包括第一待训练分析模型和第二待训练分析模型；

所述分析模型训练方法，还包括：

将所述人眼簇图像输入第一待训练分析模型，以获取预测人眼状态逻辑线索特征图，其中，所述预测人眼状态逻辑线索特征图包括每一人眼图像帧的第一预测概率；

基于所述预测人眼状态逻辑线索特征图和真实人眼状态逻辑线索特征图获取所述第一待训练分析模型的第二预测损失，利用所述第二预测损失对所述第一待训练分析模型进行训练；

将所述预测人眼状态逻辑线索特征图输入第二待训练分析模型，以获取所述连续帧人眼训练数据集的眼部行为分类，其中，所述眼部行为分类包括眼部行为类别及其第三预测概率；

基于所述连续帧人眼训练数据集的眼部行为分类和真实眼部行为标签获取所述第二待训练分析模型的第三预测损失，利用所述第三预测损失对所述第二待训练分析模型进行训练。