[发明专利]一种微表情动作单元识别方法及系统

说明书

本发明公开一种微表情动作单元识别方法及系统，包括：获取微表情视频的连续帧图像，对连续帧图像经预处理后，提取动态图；对动态图采用空间金字塔提取多层特征图，每层特征图经区域划分后，提取每个区域的局部特征图，根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图；对各层特征图的区域特征图进行注意力特征提取，根据得到的注意力特征图确定面部动作单元，从而以此获取微表情类型。使用空间金字塔网络提取不同层的细微特征，使用区域特征网络捕获不同面部区域的局部外观变化，更加准确的识别微表情的动作单元。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种微表情动作单元识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

微表情相较于普通表情而言，持续时间很短，仅为1/25～1/5秒。微表情出现快速、短暂，且不易被察觉，在很多领域都具有应用价值，比如身份识别、实时表情动画、跟踪技术，故而有必要对微表情的识别展开研究。

在计算机视觉领域，微表情识别是全自动微表情分析系统不可或缺的模块。微表情识别是指给定一个已经检测出的微表情间隔，通过计算机视觉算法，识别出该微表情的情感类别或动作单元。

微表情识别包括两个重要的分支，分别是表情识别和动作单元识别。大多数现有研究集中在微表情的表情识别上，而很少研究如何识别微表情的动作单元。表情识别只能对表情进行简单的划分，如开心、生气、厌恶、恐惧、悲伤和惊讶等6种人类基本表情，但这是笼统的划分。由于人类的表情是复杂的，为了识别到完整的表情就需要使用面部动作单元(Action Unit，AU)进行划分。AU是单个肌肉或肌肉群的基本动作，不同的AU组合可以描述大部分表情。

目前，有许多关于宏表情的AU识别的研究方法。传统的AU识别方法使用手工特征，如Haar特征、梯度直方图(Histogram of Oriented Gradients，HOG)特征、局部二进制模式特征(Local Binary Pattern，LBP)、Garbor小波特征以及尺度不变特征变换(ScaleInvariant Feature Transform，SIFT)。

然而，手工制作的特征仍不能很好的表现面部的变化。

近年来，深度学习方法由于其强大的非线性表示能力，在宏表情的AU识别中得到了广泛的研究。与宏表情的AU识别研究相比，对于微表情的AU识别研究相对较少。这是因为存在如下问题：

①微表情AU识别的强度要低得多，发生AU的持续时间要短得多，导致定位困难；

②与宏表情AU数据集(例如BP4D数据集)(328个视频和总共约140000帧)相比，微表情AU数据集包含的样本数量非常少；

③微表情中并没有几个AU共存，即相关性较弱，也就是说，在宏表情中常见的多标签学习框架不适合微表情AU识别；

④微表情各个AU样本的数量不平衡，有的AU样本有很多，如AU4(眉毛下压)，有的AU样本只有几个，如AU10(上嘴唇提起)。

所以，目前在微表情识别中存在动作单元强度低、不易被捕捉、AU样本数量不平衡等问题。

发明内容

为了解决上述问题，本发明提出了一种微表情动作单元识别方法及系统，使用空间金字塔网络提取不同层的细微特征，使用区域特征网络捕获不同面部区域的局部外观变化，更加准确的识别微表情的动作单元。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种微表情动作单元识别方法，包括：

获取微表情视频的连续帧图像，对连续帧图像经预处理后，提取动态图；