[发明专利]一种基于面部关键点和深度神经网络的人脸表情识别方法

权利要求书

1.一种基于面部关键点和深度神经网络的人脸表情识别方法，其特征在于，该方法包括如下步骤：

步骤S1：根据公开的人脸表情数据集，构建训练集、验证集和测试集；通过预处理提取人脸面部若干个关键点特征信息，并对眼部、鼻部和嘴部区域进行划分，以此分别获得多路图像数据以及关键点坐标数据；

步骤S2：构建基于卷积层和图卷积层的分类识别网络CGNet；利用所构建的训练集对CGNet网络模型进行监督训练，直到CGNet收敛到最优性能；在训练的过程中，用验证集来反应训练过程；

步骤S3：将收敛的CGNet网络模型在所构建的测试集上进行测试，根据检测结果评估CGNet的网络性能。

2.根据权利要求1所述一种基于面部关键点和深度神经网络的人脸表情识别方法，其特征在于，所述步骤S1中人脸表情数据集中的每一条数据以数据对的形式给出，包含一张待分类的RGB图像作为输入数据以及标注的表情类别作为真实值。

3.根据权利要求1所述一种基于面部关键点和深度神经网络的人脸表情识别方法，其特征在于，所述步骤S1中预处理包括：首先提取出输入的待分类的RGB人脸图像中的人脸以及对应的N个关键点位置，得到N×2的坐标信息；随后根据关键点位置将人脸的眼部、鼻部、嘴部区域进行划分，并将待分类的RGB人脸图像及划分后得到的三张子图的图像像素大小通过双线性插值的方式改变为224×224，并进行数据增强处理，增强手段包含：随机旋转、随机切割、随机修改RGB图像的饱和度、色调，最后对RGB图像进行标准化。

4.根据权利要求1所述一种基于面部关键点和深度神经网络的人脸表情识别方法，其特征在于，所述分类识别网络CGNet包括：

a)RGB图像特征提取模块：其输入为人脸图像及人脸图像划分后得到的眼部、鼻部、嘴部区域三张子图像，获得图像后首先基于ResNet18网络进行面部特征提取，随后分层取出ResNet18得到的特征信息，通过空间注意力机制强化模型对于局部信息的感知度，最终输出4路图像特征；

b)关键点位置特征提取模块：其输入为N×2的坐标信息，获得坐标信息后首先基于图卷积层进行特征提取，图卷积通过计算当前节点的相邻节点的聚合来表征一个节点，从而可以过滤掉一些特征不明显的节点，得到不同关键点的重要程度信息，最终输出1路位置特征；

c)特征融合模块：所述的特征融合模块采用通道注意力机制，通过输入上述4路图像特征和1路位置特征，使用通道注意力为每路特征计算出该路特征的权重，并与对应的特征值进行加权求和，从而产生将图像特征与位置特征融合的效果。

5.根据权利要求1所述一种基于面部关键点和深度神经网络的人脸表情识别方法，其特征在于，所述关键点位置特征特征提取模块中的图卷积层具体为：神经网络中的图卷积层表示为以下的非线性函数：

H^l+1＝f(H^l,A) (1)

对于上式，H⁰＝X为第一层的输入，X∈R^N*D，N为图的节点个数，D为每个节点特征向量的维度，A为邻接矩阵；每一层图卷积层都表示为：

其中，σ(·)为ReLU激活函数，W^l为第l层的权重参数矩阵。