[发明专利]一种基于面部关键点和深度神经网络的人脸表情识别方法

说明书

本发明公开了一种基于面部关键点和深度神经网络的人脸表情识别方法，可用于实现对人脸面部表情的实时检测。该发明主要包括：获取人脸表情数据集，通过预处理提取出68个面部关键点，并对眼部、鼻部、嘴部区域进行划分，以此分别获得多路图像数据以及关键点坐标数据；训练表情分类网络，对图像数据和坐标数据分别采用卷积层和图卷积层提取特征，输出分类结果；在人脸表情分类数据集上评估网络的识别效果。本发明相比于当前主要的人脸面部表情分类算法，在保证识别实时性的前提下，获得了更高的平均分类准确率，是一种高质量的人脸面部表情识别算法。

技术领域

本发明涉及一种基于面部关键点和深度神经网络的人脸表情识别方法，适用于计算机视觉中的人脸表情识别技术领域。

背景技术

人脸表情的智能识别一直是一个重要的科学研究方向，也是一个热点方向。人脸表情分析应用场景非常广泛，对提高人类生活质量具有显著效果，极具研究价值。具体应用领域包括但不限于：在社会公共区域，利用视频分析技术，实现多目标跟踪与表情分析，及时识别公共环境中的潜在危险，加强公共安全管控；识别分析机动车驾驶人的面部表情判断驾驶人是否疲劳驾驶、酒后驾驶，降低交通事故发生率；通过高清高速摄像设备的辅助，分析嫌犯的微表情，为警方办案提供有效帮助；为残疾人提供生活辅助，帮助其理解其他人的情感状态，促进交流沟通的便利。

随着技术的发展，人们越来越多地尝试利用机器视觉、图像处理技术实现自动化的人脸表情识别。近年来，深度学习算法由于其强大的学习能力以及适应能力被广泛地应用于自然语言处理、数据挖掘、图像处理等各个领域。一些基于卷积神经网络的方法也被引入到人脸表情分析领域，包括AlexNet、ResNet-18、LeNet等。得益于卷积神经网络的局部连接和权重共享机制，人脸图像处理的参数和计算量大大降低，且表情识别的准确率相比传统方法也有显著提升。虽然基于深度学习的人脸表情分析方法已经取得了很好的结果，但是目前的方法还存在着一些问题，包括：一味地堆积卷积层将导致模型很难在极短的时间内完成对人脸的提取、分析，无法满足在实际使用场景中的实时性需求；缺乏对面部图像的预处理工作，通常在整张图片中提取出面部的位置后简单将其切割并作为深度神经网络的输入，网络需要自行从整张图像中分析得到影响表情的要素，而忽视了面部关键点信息的有效提取，进而限制了微表情的精准识别。

因此开展基于面部关键点特征的算法研究具有重要的意义。

发明内容

本发明提出了一种基于面部关键点和深度神经网络的人脸表情识别方法，被命名为CGNet。本发明中的CGNet同时采用图像特征和关键点特征信息，综合的对表情做出精准的识别。同时，利用空间注意力机制和通道注意力机制来提高特征提取的效率。训练好的CGNet的网络模型识别性能较好，相比于当前算法FAN(Frame Attention Network)等，CGNet有更高的识别率，说明本发明有效提高了人脸识别表情的准确度。

为了实现上述目的，本发明提供如下技术方案：

一种基于面部关键点和深度神经网络的人脸表情识别方法，该方法包括如下步骤：

步骤S1：根据公开的人脸表情数据集，构建训练集、验证集和测试集；通过预处理提取人脸面部若干个关键点特征信息，并对眼部、鼻部和嘴部区域进行划分，以此分别获得多路图像数据以及关键点坐标数据；

步骤S2：构建基于卷积层和图卷积层的分类识别网络CGNet；利用所构建的训练集对CGNet网络模型进行监督训练，直到CGNet收敛到最优性能；在训练的过程中，用验证集来反应训练过程；

步骤S3：将收敛的CGNet网络模型在所构建的测试集上进行测试，根据检测结果评估CGNet的网络性能。

优选的，所述步骤S1中人脸表情数据集中的每一条数据以数据对的形式给出，包含一张待分类的RGB图像作为输入数据以及标注的表情类别作为真实值。