[发明专利]一种基于深度学习的人脸序列表情识别方法

摘要

本发明提供了一种基于深度学习的人脸序列的表情分析方法,主要涉及利用多尺度人脸表情识别网络对人脸序列表情进行分类。该方法包括：构建多尺度人脸表情识别网络(其中包括处理128×128，224×224，336×336等不同分辨率的三个通道)，并利用该网络并行提取不同分辨率的人脸序列中的特征，最后融合这三种特征，得到人脸序列表情的分类。本发明充分发挥深度学习的自我学习能力，避免了人工提取特征的局限性，使得本发明方法的适应能力更强。利用多流深度学习网络的结构特征，并行训练及预测，最后融合多个子网络的分类结果，提高了准确率及工作效率。

主权项

1.一种基于深度学习的人脸序列表情识别方法，其特征在于：1).将人脸序列处理成不同的分辨率分别处理；2).采用不同的神经网络处理不同分辨率的人脸序列；3).采用加权的方法对上述2)中的多个网络通道进行融合，得到多尺度人脸序列表情识别网络模型；该方法包括以下步骤：A.多尺度人脸序列表情识别网络的训练，其具体包括：A1.对视频序列进行预处理，其中通过人脸检测跟踪的视频分析技术获取人脸序列，将每个人脸序列处理成三种不同的分辨率，这三种不同的分辨率包括128×128,224×224,336×336；最后将上述三种不同分辨率的人脸序列分为训练集、测试集和验证集，并贴上定义好的情绪类别标签；A2.采用长效递归卷积神经网络(Long‑term Recurrent Convolutional Networks,LRCN)结构的三通道多尺度人脸序列表情识别网络分别对上述三种不同的分辨率的人脸序列进行分析，所述三通道是指Coarse Resolution通道即CS‑stream，Normal Resolution通道即NS‑stream，Fine Resolution通道即FS‑stream，其中CS‑stream处理分辨率为128×128的人脸序列，NS‑stream处理分辨率为224×224的人脸序列，FS‑stream处理分辨率为336×336的人脸序列；A3.训练时先将训练集和验证集中三种不同分辨率的人脸序列分别输入多尺度人脸序列表情识别网络的三个通道，完成整个网络的训练，最后融合三通道并保存生成的网络与网络参数模型，以用于预测；所述步骤A中利用不同网络提取不同分辨率的人脸序列中的时空特征，采用VGG‑Face+LSTM作为CS‑stream通道与NS‑stream通道的基础网络，Deeper VGG‑Face+LSTM在VGG‑Face+LSTM网络的基础上添加了两个卷积层作为FS‑stream通道的基础网络，对三通道网络采用2:5:3的权重融合得到多尺度人脸表情识别网络；B.利用多尺度人脸序列表情识别网络与训练好的网络参数模型进行视频的人脸序列表情分类：B1.提取步骤A1中生成的测试集中的不同分辨率的人脸序列，为分类做准备；B2.利用多尺度人脸表情识别网络和步骤A中生成的网络参数模型，以步骤B1中提取的不同分辨率人脸序列作为输入，并融合三通道的分类结果，预测该视频的人脸表情类别。