[发明专利]一种基于多尺度特征知识蒸馏的动态表情识别方法及系统

权利要求书

1.一种基于多尺度特征知识蒸馏的动态表情识别方法，其特征在于，该方法包括以下步骤：

S1：对人脸表情视频库中的每个视频进行预处理，生成人脸图像序列样本和光流图像序列样本；

S2：构建知识蒸馏框架中的教师-学生模型，其中，学生模型和教师模型采用相同的深度神经网络结构；

S3：用光流图像序列样本对教师模型进行预训练；

S4：构建教师-学生模型的损失函数，利用预训练后的教师模型，使用光流图像序列样本和人脸图像序列样本对学生模型进行多尺度特征知识蒸馏的训练；

S5：用训练好的教师-学生模型中的学生模型作为最终的表情识别模型，对输入视频中的人脸进行表情识别。

2.根据权利要求1所述的一种基于知识蒸馏的动态表情识别方法，其特征在于，所述步骤S1中对人脸表情视频库中的每个视频进行预处理，生成人脸图像序列样本和光流图像序列样本的具体步骤如下：

(1.1)对人脸表情视频库中的每个视频按照时间顺序进行分段截取，生成每段长度为K帧的RGB图像序列；

(1.2)对所述长度为K帧的RGB图像序列进行人脸检测，并对检测出的人脸进行裁剪与对齐，得到长度为K帧、每帧分辨率为H×W的人脸图像序列样本，其中，H和W分别是人脸图像的高度和宽度；

(1.3)在长度为K帧的人脸图像序列的每相邻两帧之间分别计算光流，生成长度为(K-1)帧、每帧分辨率为H×W的光流图像序列样本；

(1.4)在长度为K帧的人脸图像序列中，去除其中的第1帧人脸图像，得到长度为(K-1)帧、每帧分辨率为H×W的人脸图像序列样本。

3.根据权利要求2所述的一种基于知识蒸馏的动态表情识别方法，其特征在于，其中，K为整数，在16～32之间取值。

4.根据权利要求1所述的一种基于多尺度特征知识蒸馏的动态表情识别方法，其特征在于，所述步骤S2中的学生模型和教师模型采用相同的深度神经网络结构，包含顺序连接的第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块、全连接层、分类层。

5.根据权利要求2或3或4所述的一种基于多尺度特征知识蒸馏的动态表情识别方法，其特征在于，所述步骤S3中用光流图像序列样本对教师模型进行预训练，具体方法为：将所述步骤(1.3)中得到的长度为(K-1)帧、每帧分辨率为H×W的光流图像序列样本输入到教师模型，使用交叉熵损失函数对光流图像序列进行分类训练，并冻结训练过程中准确率最高的教师模型参数。