[发明专利]面部表情识别方法及系统

权利要求书

1.一种面部表情识别方法，其特征在于，包括：

获取待识别的局部遮挡的面部图片，采用训练好的补全模型对图片中被遮挡的部分进行补全，得到完整的面部图片；

对完整的面部图片进行预处理操作，包括人脸检测、人脸对齐；

对预处理后的面部图片进行面部标志点标注；

利用标注后的面部图片构建面部图结构；

训练好的识别模型对构建的面部图结构进行处理，得到面部表情的分类与识别结果；其中，所述识别模型由训练集训练得到，所述训练集包括多个面部图结构以及标注面部表情类别的标签。

2.根据权利要求1所述的面部表情识别方法，其特征在于，构建面部图结构包括：记录面部标志点的位置，作为图结构的节点；计算每个面部标志点与其相邻的距离最近的面部标志点的欧氏距离，作为图结构的边属性；计算每个面部标志点的局部二值模式，作为图结构的节点属性。

3.根据权利要求1所述的面部表情识别方法，其特征在于，训练好的所述补全模型包括：生成器和判别器；生成器接收局部遮挡的原始图片以及期望输出的目标图片，对图片进行特征提取并将其排列成列向量，生成新的图片；判别器接收生成器生成的新的图片、目标图片以及局部遮挡的原始图片，提取各个图片的空间特征，对生成的新的图片进行判别，获取生成图片与原图片的相似度，辅助生成器生成符合要求的图片。

4.根据权利要求1所述的面部表情识别方法，其特征在于，训练好的识别模型包括输入层、多个图卷积层、重构层、全连接层以及输出层；输入层接收面部图结构；图卷积层用于提取面部图结构的特征，生成面部表情分类特征；全连接层用于对提取的特征进行维度变换；输出层用于根据全连接层的计算结果做出评判并输出面部表情的识别结果。

5.根据权利要求3所述的面部表情识别方法，其特征在于：

对原始数据集中的图片进行人脸检测，并将图片检测到的人脸裁剪出来，并进行人脸对齐，得到人脸数据集；

基于裁剪后的人脸数据集，添加随机大小以及随机位置的遮挡，构建局部遮挡的面部数据集；

将局部遮挡的面部数据集中的图片与原始数据集中的原图片一一对应，构成二元组Gf_input,Gf_target，作为生成器的输入，Gf_input表示局部遮挡的原始图片，Gf_target表示原始数据集中的原图片，即目标图片；

构建两个三元组Gf_input,Gf_target,yes和Gf_input,Gf_output,no，作为判别器的输入，Gf_output表示生成器生成的新的图片。

6.根据权利要求5所述的面部表情识别方法，其特征在于，训练所述补全模型包括：

步骤1：设置超参数，确定判别器和生成器的训练步长之比；

步骤2：将三元组和输入到判别器中，通过随机梯度下降法优化判别器的参数；

步骤3：将二元组输入到生成器中，通过随机梯度下降法优化生成器中的参数；

步骤4：迭代执行步骤2和步骤3，直到达成停止条件。

7.根据权利要求2所述的面部表情识别方法，其特征在于，计算每个面部标志点的局部二值模式包括：

获取面部标志点的中心像素的区域C；

对于获取的区域C的每一个像素p，比较与其相邻的像素的灰度值；

若p周围像素的值大于中心像素值，则该像素点p的位置被标记为1，否则为0；

通过上述操作，产生一个二进制数，即为二值模式值。