[发明专利]面部表情识别方法及系统

说明书

本发明提供一种面部表情识别方法及系统，属于图像识别技术领域，获取待识别的局部遮挡的面部图片，采用训练好的补全模型对图片中被遮挡的部分进行补全，得到完整的面部图片；对完整面部图片进行预处理操作，包括人脸检测、人脸对齐；对预处理后的面部图片进行面部标志点标注；利用标注后的面部图片构建面部图结构；训练好的识别模型对构建的面部图结构进行处理，得到面部表情的分类与识别结果。本发明以面部标志点为中心获取的二值模式特征可以反映表情的纹理特征，提高了表情识别准确率；实现了对图片的局部遮挡补全，提高了面部表情识别性能；图卷积神经网络能够处理非欧几里得数据(图结构)，在节省计算资源的同时，提高面部表情识别准确率。

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于生成对抗网络(GenerativeAdversarial Network，GAN)和图神经网络(Graph Convolutional Network，GCN)的面部表情识别方法及系统。

背景技术

人机交互过程中，从人体收集的多种信号(如脑电信号、心电信号、眼电信号等)都可以用于人类的情绪识别。面部表情是人类情绪最自然的表现方式之一，在人类的日常交流中扮演重要的角色，它有静态和动态两种记录方式。静态记录即记录面部表情的静态图片；动态记录则为记录面部表情形成过程的动态视频。面部表情相对于人体的电信号来说具有采集简单、易收集等优点；但相对于人体的电信号，面部表情也具有易伪装、易遮挡的缺点。自然采集到的面部图像往往存在面部的局部遮挡(如墨镜、树叶、手掌等)，这些遮挡会对面部表情识别任务造成一定的影响。因此面部表情识别任务仍然有很多需要改进的方面。

深度学习模型往往在实验室控制采集的面部表情数据集中表现良好，但在自然环境下采集的面部表情图片中的表现较差。原因是自然环境下采集到的面部表情图片往往更易受到不确定因素的影响，如光照强度、头部姿态、局部遮挡等，这些因素严重影响了面部表情识别的准确率。

卷积神经网络在图像、视频数据的特征提取任务中具有较大的优势，然而面部表情数据集的数据量往往较小，会导致卷积神经网络在训练过程中过拟合，这是模型训练的一大障碍。解决这个问题的方法一般有以下两种：一是较少深度学习模型的隐藏层数，这样可以在一定程度上克服过拟合的问题，但由于模型规模减小，面部表情识别的准确率会受到影响；二是对原有的面部表情数据集进行数据扩充，为网络的训练提供足够的数据。

面部图结构相对于面部图片来说，能够有效的保留面部的外观、纹理等信息，而且图结构在一定程度上能够减少原图片的信息量，加快模型的训练速度。T.Rao等人提取98个面部标志点，并基于多邻域划分构建面部图结构，利用GCN进行面部表情识别；C.Wu等人同样基于面部标志点，利用与标志点相邻的像素构建面部图结构，最后利用GCN进行面部表情识别。利用图结构的面部表情识别，在自然环境中的面部图片往往具有局部遮挡，对基础的面部表情识别系统造成消极影响，导致自然环境下的面部表情识别效率低、识别准确度低且不稳定。

发明内容

本发明的目的在于提供一种提高了识别效率、准确度和稳定性的面部表情识别方法及系统，以解决上述背景技术中存在的至少一项技术问题。

为了实现上述目的，本发明采取了如下技术方案：

一方面，本发明提供一种面部表情识别方法，包括：

获取待识别的局部遮挡的面部图片，采用训练好的补全模型对图片中被遮挡的部分进行补全，得到完整的面部图片；

对完整的面部图片进行预处理操作，包括人脸检测、人脸对齐；

对预处理后的面部图片进行面部标志点标注；

利用标注后的面部图片构建面部图结构；

训练好的识别模型对构建的面部图结构进行处理，得到面部表情的分类与识别结果；其中，所述识别模型由训练集训练得到，所述训练集包括多个面部图结构以及标注面部表情类别的标签。