[发明专利]一种基于多尺度特征知识蒸馏的动态表情识别方法及系统

说明书

本发明公开了一种基于多尺度特征知识蒸馏的动态表情识别方法，该方法包括：对人脸表情视频库中的每个视频进行预处理，生成人脸图像序列样本和光流图像序列样本；构建知识蒸馏框架中的教师‑学生模型；用光流图像序列样本对教师模型进行预训练；构建教师‑学生模型的损失函数，利用预训练后的教师模型对学生模型进行多尺度特征知识蒸馏的训练；用训练好的学生模型作为最终的表情识别模型，对输入视频中人脸进行表情识别。该方法通过引入多层次知识蒸馏，将预训练后的教师模型从光流图像序列中学习到的动态表情特征迁移到学生模型，提升学生模型特征提取能力，增强模型的泛化能力以及对动态表情的鉴别能力，提升动态表情识别的准确率和鲁棒性。

技术领域

本发明属于机器学习与模式识别领域，特别涉及一种基于多尺度特征知识蒸馏的动态表情识别方法及系统。

背景技术

在人们的日常交流中，情感是人与人之间相互理解的重要桥梁，情感的感知和理解能够帮助人们理解对方的各种行为和心理状态，在人际交往中发挥着非常重要的作用。随着人工智能等技术的不断进步，获得更加智能化、人性化的人机交互(Human–ComputerInteractions，HCIs)体验越来越受到人们的关注。人们对机器智能化的要求越来越高，期望机器能够具有感知、理解甚至表达情感的能力，实现人性化的人机交互，更好地为人类服务。人脸表情是人类心理状态的直观反映，蕴含着丰富的情感信息，人脸表情识别作为人机交互技术的一个分支，在服务机器人、驾驶员疲劳检测等领域具有潜在的应用价值，近年来受到越来越多的关注。

随着深度学习的发展，基于深度卷积神经网络的表情识别算法取得了较好的性能。然而，日益复杂的卷积神经网络模型在带来高性能的同时，其巨大的参数量和计算量需要消耗大量的存储资源和计算资源，难以部署在存储和计算资源有限的移动终端或嵌入式设备中。为了节省神经网络模型的存储空间和计算开销，研究人员提出了基于知识蒸馏的深度神经网络模型优化方法。通过定义合适的蒸馏损失，知识蒸馏往往能够超越传统的基于真实标签的监督训练方法，实现模型推理准确率的提升。对比其他深度神经网络压缩优化方法，知识蒸馏的优点在于无需对模型结构进行复杂的修改，实施过程相对简单，可推广性好，模型稳定性好。

然而，传统的知识蒸馏方法只考虑将教师模型输出的标签预测值作为学生模型学习的“软目标”，通过匹配学生模型和教师模型的输出分布将知识传递给学生模型，但忽略了教师模型的中间层所蕴含的更丰富的暗知识和不同层间的信息。

发明内容

发明目的：针对人脸图像序列中光流信息能够有效反映动态表情，然而光流计算复杂度高的问题，本发明的目的在于提供一种基于多尺度特征知识蒸馏的动态表情识别方法，在以光流图像序列为输入的教师模型和以人脸图像序列为输入的学生模型的多个不同特征层次之间进行知识蒸馏，通过在教师模型和学生模型的多个中间特征层之间构建蒸馏损失函数，将预训练后的教师模型的中间特征层所蕴含的从光流图像序列中学习到的动态表情特征蒸馏到学生模型的多个不同尺度的特征图中，使得学生模型无需复杂的光流计算，不仅能从人脸图像序列中提取动态表情特征，而且还能学习到从教师模型迁移过来的动态表情特征，从而增强模型的泛化能力以及对动态表情的鉴别能力，提升动态表情识别的准确率和鲁棒性。

技术方案：本发明为实现上述发明目的，本发明提出一种基于多尺度特征知识蒸馏的动态表情识别方法，该方法包括以下步骤：

S1：对人脸表情视频库中的每个视频进行预处理，生成人脸图像序列样本和光流图像序列样本；

S2：构建知识蒸馏框架中的教师-学生模型，其中，学生模型和教师模型采用相同的深度神经网络结构；

S3：用光流图像序列样本对教师模型进行预训练；

S4：构建教师-学生模型的损失函数，利用预训练后的教师模型，使用光流图像序列样本和人脸图像序列样本分别输入教师-学生模型中的教师模型和学生模型进行多尺度特征知识蒸馏的训练；