[发明专利]一种基于自注意力变换网络的动态人脸表情识别方法

说明书

本发明公开了一种基于自注意力变换网络的动态人脸表情识别方法，其特征在于：在空间维度上设计了一种联合深度卷积神经网络的空间自注意力变换网络，通过编码局部特征之间的相互关系，从而获得对自然环境下人脸姿态变化和遮挡鲁棒的人脸表情特征；在时间维度上设计了一种时序自注意力变换网络，通过编码人脸表情视频各帧之间的相互关系，从而获得具有上下文感知的时序人脸表情特征。本发明设计合理，得到的动态人脸表情识别模型具有识别精度高和抗干扰性强等优点。

技术领域

本发明属于人工智能技术领域，具体涉及一种基于自注意力变换网络的动态人脸表情识别方法。

背景技术

人脸表情是人类传递情感最直接、最有力的信号之一，在人类日常沟通中扮演着非常重要的角色。近年来，自动人脸表情识别因在人机交互、医疗诊断、在线教育以及驾驶监测等方向的重要应用价值，已逐渐成为计算机视觉领域的研究热点之一。根据特征表示的不同，人脸表情识别系统主要可以分为静态图片人脸表情识别和动态序列人脸表情识别。对于静态识别模型，仅有单幅图像的空间信息用于特征编码中。而动态模型不仅编码空间信息，而且考虑人脸表情序列各帧的时序关系，因此能够更好的建模人脸表情这一动态行为事件。针对动态序列人脸表情识别，现有的识别模型主要应用在实验室环境下，这些模型要求人脸部分无遮挡并且无大的姿态变化。然而在自然环境下，人脸表情的发生总是伴随着光照变化、遮挡、非正脸姿态以及头部运动等干扰因素，因此需要设计对这些干扰因素鲁棒的识别模型。此外，现有的动态识别模型在时序建模上主要基于循环卷积神经网络或者三维卷积神经网络，这些模型没有考虑到局部帧和全局帧之间的关系，从而导致了上下文信息的缺失。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于自注意力变换网络的动态人脸表情识别方法，其通过编码局部人脸特征之间的相互关系，获得对姿态变化和遮挡等干扰鲁棒的空间人脸表情特征，通过编码人脸表情各帧之间的相互关系，获得具有上下文感知并且对头部运动干扰鲁棒的时序人脸表情特征，从而更好的应用到人机交互、驾驶监测以及医疗诊断等领域中。

为实现上述技术目的，本发明采取的技术方案为：

一种基于自注意力变换网络的动态人脸表情识别方法，其特征在于包含以下步骤：

步骤一：在空间维度上设计了一种联合深度卷积神经网络的空间自注意力变换网络，通过编码局部特征之间的相互关系，从而获得对自然环境下人脸姿态变化和遮挡鲁棒的人脸表情特征；

步骤二：在时间维度上设计了一种时序自注意力变换网络，通过编码人脸表情视频各帧之间的相互关系，从而获得具有上下文感知的时序人脸表情特征。

上述的步骤一中的联合深度卷积神经网络由五个卷积模块和三个空间编码器组成，每一个空间编码器主要由多头的空间自注意力和前向传播网络组成。

上述的步骤一中的联合深度卷积神经网络的空间自注意力变换网络包含以下步骤：

第一步：给定一个人脸视频，首先将输入视频分为U个片段，然后从每个片段中随机采样V帧，最后将采样得到的T＝U×V帧序列送入人脸检测器中检测并裁剪人脸区域，T帧人脸序列标记为

第二步：对于每一帧人脸图像，该网络利用四个卷积块提取特征图接着将特征图M的维度变为这样就可以得到Q个视觉词向量，并且每个词向量的长度为C，然后空间编码器的输入可由如下操作得到：

其中，代表一个可学习的位置编码；p∈{1，2，…，Q}；

第三步：该网络包含三个空间编码器，在每一个编码器l上，每一个视觉词的查询向量q、键值向量k、数值向量v都是通过前层的计算得到的，可由如下操作计算：