[发明专利]视频图像序列中人脸微表情识别方法

权利要求书

1.一种视频图像序列中人脸微表情识别方法，其特征在于，该识别方法包括以下内容：在微表情视频图像序列预处理之后，根据微表情的实际发生机理划分图像分块并获得微表情的浅层运动信息和深层形状信息融合特征，通过光流的共现关系和AU的发生机制构建自注意力图卷积网络的邻接矩阵A，以分块为节点、以邻接矩阵为边，构建自注意力图卷积网络，最后利用自注意力图卷积网络完成微表情的分类识别；

所述自注意力图卷积网络的邻接矩阵A为特征增强邻接矩阵A_e、根据AU关系构建的邻接矩阵A_AU、光流共现邻接矩阵A_flow三者的加和；

所述光流共现邻接矩阵A_flow的获得过程是：对光流信息序列的各分块的光流进行累计，用公式(11)计算各分块累计光流的累计值Sum，进而获得所有分块累计光流的平均值：

公式(11)中，w、h分别为各分块的宽度和高度，ρ(x,y)表示位置(x,y)像素点的光流大小；

当某块的光流累计值大于平均值时，则认为此块运动幅度剧烈，即此块出现，同一个光流信息序列中同时出现的块具有共现关系；根据光流信息序列的任意m、n两分块间的共现次数与第n块出现的次数的比值表示共现关系对面部共现的概率设置面部共现阈值τ，若共现关系不小于面部共现阈值τ，则该共现关系置为1，否则置为0，所有分块的共现关系组成光流共现邻接矩阵A_flow；

根据AU关系构建的邻接矩阵A_AU的过程是：将面部划分为若干既相互独立又相互联系的AU，将面部等分为上中下三个区域，分别用up、mid、down表示，根据区域中AU的运动情况分别构建三个子邻接矩阵,通过AU的出现寻找面部运动与微表情发生机理之间的关系，发生邻接关系的位置赋值为1，其他位置为0，由此获得根据AU关系构建的邻接矩阵A_AU；

特征增强邻接矩阵A_e的获得过程是：在根据AU关系将面部等分为三个区域后，选择上部分和下部分的人脸区域分别构建主对角线为1的特征增强矩阵即主对角线部分为1，其他位置为0的矩阵，由此构建出特征增强邻接矩阵

2.根据权利要求1所述的识别方法，其特征在于，所述融合特征的获得过程是：

基于预处理后的微表情视频图像序列的光流信息，获得光流信息序列，对光流信息序列的每一帧进行图像分块，每个分块采用光流信息统计直方图来表征时域动作信息，根据角度值将光流信息ρ_i,j投影到对应分块的直方图区域中，最后经归一化获得浅层运动信息；

基于预处理后的微表情视频图像序列通过时域插值模型获得深度神经网络模型所需输入的深度微表情视频图像序列，该深度微表情视频图像序列的帧数与上述光流信息序列的帧数相同，对深度微表情视频图像序列的每一帧进行图像分块，通过深度神经网络模型获得深度微表情视频图像序列中所有图像分块的深层形状信息；两处分块的划分规则相同；

将浅层运动信息与深层形状信息进行级联获得融合特征。

3.根据权利要求1所述的识别方法，其特征在于，所述分块划分规则为：纵向分为6个分块，将面部区域的眉毛、眼睛、鼻子、脸颊、下巴区域分开，考虑人脸的对称性横向划分为5个分块。

4.根据权利要求1所述的识别方法，其特征在于，所述自注意力图卷积网络用于学习节点注意力、学习边结构重要度、通过空间卷积学习同一帧不同节点特征之间的关系、辅助学习面部重要的分块和选择利于分类功能的帧，通过微表情的实际发生机理学习不同类别微表情的特征，放大微表情之间的差异性，自适应选择特征，实现人脸微表情自动识别。