[发明专利]一种基于多任务学习的代表性AU区域提取的微表情识别方法

说明书

本发明涉及一种基于多任务学习的代表性AU区域提取的微表情识别方法，包括：A、对微表情视频进行预处理；B、获取AU区域的位置，得到最具代表性的AU区域；C、划分训练集和测试集；D、训练AU掩膜特征提取网络模型；E、送入训练好的AU掩膜特征提取网络，得到只包含代表性AU的人脸图像序列；F、训练包含非局部模块的3D‑ResNet网络；G、送入包含非局部模块的3D‑ResNet网络，得到分类准确率。本发明考虑了不同AU对微表情识别的贡献，还解决了微表情样本不足的问题，增加了训练样本的数量，提高了微表情的识别性能。

技术领域

本发明涉及一种基于多任务学习的代表性AU区域提取的微表情识别方法，属于深度学习和模式识别技术领域。

背景技术

对面部情绪的研究开始于Charles Darwin，他指出了情绪产生的主要规则，详细介绍了不同情绪的外在表现以及情绪与神经系统的关系，奠定了情绪研究的基础。Ekman和Friesen在观察某重度抑郁症病人隐藏自杀意图的视频时，发现了含有绝望表情的画面，画面仅持续了2/25秒的时间，Ekman等人因此将这段短暂的表情命名了微表情。

微表情与普通的宏表情不同，微表情是一种持续时间短且无意识做出的面部表情，它暴露了人们试图隐藏的真实情绪，一般来说，微表情的持续时间在1/25到1/5秒，因此在正常表达中很难被发现。一段微表情可以分为起始帧、过渡帧、高潮帧、过渡帧、结束帧。面部表情有7种基本情绪，即：开心、惊讶、愤怒、厌恶、恐惧和伤心和蔑视。Ekman提出了面部动作编码系统(Facial Action Coding System，FACS)，定义了不同的面部表情对应的动作单元(Action Unit，AU)，他根据FACS设计了一套微表情识别的训练工具(MicroExpression Training Tool，METT)，实验结果证明：观察者仅需要一个半小时的时间，就能将微表情识别准确率提高30％～40％，这为微表情识别技术的发展提供了可能。

微表情的特征提取方法有基于光流的方法、基于纹理描述的方法、基于深度学习的方法。

基于光流的方法适合处理运动图像，描述了物体在图像运动的速度变化。光流法有两个前提假设：成像表面是平坦的，入射光照射到表面的亮度呈均匀分布；反射率的变化是平滑的，光照在物体上没有不连续性。Lucas等人假设光流在局部像素区域内是恒定的，并使用最小二乘法计算局部区域内所有像素的基本光流方程。刘永进提出主方向均值光流(Main Directional Mean Optical Flow，MDMO)，根据关键点将人脸划分为许多感兴趣区域，结合局部运动信息及其空间的位置变化，计算每个感兴趣区域内的归一化特征。由于MDMO使用的平均操作会造成特征空间中原有结构的丢失，刘永进又提出了稀疏MDMO(Sparse MDMO)，基于样本点的稀疏性，将特征空间中的距离与图正则化稀疏编码相结合，得到稀疏MDMO特征。Liong等人提出使用光学应变将运动信息进行时空聚合，对特征直方图进行加权，来调整空间块的重要性。Happy等人提出了光流方向模糊直方图(FuzzyHistogram of Optical Flow Orientations，FHOFO)，直方图根据光流的幅值进行加权，基于模糊成员函数将累积运动方向投影到的不同直方图区间中，FHOFO特征对表情强度和光照变化具有鲁棒性。徐峰提出了面部动态映射(Facial Dynamics Map，FDM)，计算相邻帧的稠密光流进行像素级的对齐，统计时空特征内最主要的运动方向，这种方法对运动的尺度具有较强的鲁棒性，既能提取大范围运动的面部特征，也能提取面部细微的运动变化。