[发明专利]一种基于人脸特征点数据增强的动态表情识别方法

说明书

本发明属于人脸动态表情识别领域，尤其涉及了一种基于人脸特征点数据增强的动态表情识别方法，该方法包括：获取原始人脸数据集，对原始人脸数据集进行预处理，得到人脸数据训练集；所述人脸数据训练集包括原始人脸数据集、原始轨迹图和新的轨迹图；将训练集输入到构建好的3CNN模型中进行模型训练；实时获取人脸数据，将获取的人脸数据输入到训练好的3CNN模型中，得到该人脸动态表情识别结果；本发明通过对人脸特征数据进行增强处理，使得在训练卷积神经网络模型时有足够的数据对模型进行训练，最终得到的结果更精确。

技术领域

本发明属于人脸动态表情识别领域，尤其涉及一种基于人脸特征点数据增强的动态表情识别方法。

背景技术

面部表情识别(Facial Expression Recognition)，以下简称FER。

面部表情的研究始于19世纪。1872年，达尔文在他著名的论著《人类和动物的表情(The Expression of the Emotions in Animals andMan，1872)》中阐述了人的面部表情和动物的面部表情之间的联系和区别。1971年，Ekman和Friesen对现代人脸表情识别做了开创性的工作，他们研究了人类的6种基本表情(即高兴、悲伤、惊讶、恐惧、愤怒、厌恶)，确定识别对象的类别，并系统地建立了由上千幅不同表情组成的人脸表情图像数据库，细致的描述了每一种表情所对应的面部变化，包括眉毛、眼睛、嘴唇等等是如何变化的。1978年，Suwa等人对一段人脸视频动画进行了人脸表情识别的最初尝试，提出了在图像序列中进行面部表情自动分析。20世纪90年代开始，由K.Mase和A.Pentland使用光流来判断肌肉运动的主要方向，使用提出的光流法进行面部表情识别之后，自动面部表情识别进入了新的时期。

在发展过程中，FER从传统的静态图像识别扩展到动态序列识别。特征提取也由传统的方法扩展到深度学习方法。识别准确度也因此越来越高。但也越发突显出一个问题，数据不足。针对静态图像识别，单一帧的数据增强方法已经很完善，但针对动态序列，由于其在时空上连续的特性，如果直接在序列中加入某一帧图片，会使其前后不连续，所以增强动态序列的表情数据也逐渐走入大家视野。

发明内容

为解决以上现有技术的问题，本发明提出了一种基于人脸特征点数据增强的动态表情识别方法，该方法包括：实时获取人脸数据，将获取的人脸数据输入到训练好的3CNN模型中，得到该人脸动态表情识别结果；所述训练好的3CNN模型的获取包括：获取原始人脸数据集，对原始人脸数据集进行预处理，得到人脸数据训练集；将人脸数据训练集输入到构建好的3CNN模型中进行模型训练，得到训练好的3CNN模型；

所述得到人脸数据训练集的过程包括：

S1：对获取的原始人脸数据集进行人脸对齐以及面部特征点标记处理；

S2：选择面部特征变化大的特征点；

S3：根据选择的特征点构建轨迹矩阵；将各个轨迹矩阵进行组合，得到原始轨迹图；

S4：采用随机因子对轨迹矩阵进行微调处理，得到新的轨迹矩阵；将新的轨迹矩阵进行组合，得到新的轨迹图，将原始人脸数据集、原始轨迹图和新的轨迹图作为人脸数据训练集。

优选的，对获取的原始人脸数据集进行人脸对齐以及面部特征点标记处理过程包括：

S11：采用Viola-Jones人脸检测算法对原始人脸数据集进行人脸检测；对检测后的人脸数据进行去背景以及去除非面部区域处理，得到人脸边界框；

S12：根据人脸边界框对原始人脸数据集中的动态序列的每一帧图像进行裁剪，得到面部区域；

S13：对得到的面部区域进行几何归一化处理，得到新的面部区域；

S14：对新的面部区域的特征点进行标记，得到具有特征点的图像；将各个特征点的位置坐标进行保存。