[发明专利]一种基于面部动作单元强度估计的表情分析方法

说明书

技术领域

本发明涉及表情分析领域，尤其是涉及了一种基于面部动作单元强度估计的表情分析方法。

背景技术

面部表情的识别和分析是人工智能领域的一个重要研究方向，它不但在社会生活中具有普遍意义，而且在计算机的情感计算方面也起着有重要作用。它通过自动识别出人的面部表情，进而分析人的感情和心理活动，可以应用于安全领域，在公共场合，如机场、地铁站等处，通过安装的摄像头等监控设备来自动地分析人的表情和动作，通过这些分析进一步判断人物心理，从而判断可疑人物甚至是恐怖分子，进而阻止其犯罪行为；也可以帮助执法机构和情报机构更好地辨别可疑行为和欺骗行为。此外，表情变化识别也可以应用于客户满意度调查和儿童兴趣点分析等，通过记录人物的表情变化，进一步分析而获得客户反馈等。以前的识别方法由于面部形态变异性较大，导致缺乏适合的大型数据集用于有效的深层模型学习，因此识别准确性低。

本发明提出了一种基于面部动作单元强度估计的表情分析方法，结构化深度条件随机场包括两个设置，在第一个设置中，给定输入面部图像，将预定义的卷积神经网络层应用于(归一化)输入图像，生成特征图，第二个设置为了利用来自多个数据集的信息，使用数据增强学习方法；在结构性深度条件随机场中定义一元结点势，当随机变量为离散时，可以为离散变量构造联合分布，从多个数据集增强学习生成的深度结构化条件随机场的目标函数。本发明利用深层结构化学习，能够处理高维输入特征，图像特征大大改进，性能也显著提升，提高了面部动作单元强度估计的精确性。

发明内容

针对识别准确性低的问题，本发明的目的在于提供一种基于面部动作单元强度估计的表情分析方法，结构化深度条件随机场包括两个设置，在第一个设置中，给定输入面部图像，将预定义的卷积神经网络层应用于(归一化)输入图像，生成特征图，第二个设置为了利用来自多个数据集的信息，使用数据增强学习方法；在结构性深度条件随机场中定义一元结点势，当随机变量为离散时，可以为离散变量构造联合分布，从多个数据集增强学习生成的深度结构化条件随机场的目标函数。

为解决上述问题，本发明提供一种基于面部动作单元强度估计的表情分析方法，其主要内容包括：

(一)结构化深度条件随机场(CRF)；

(二)一元电势；

(三)成对电势；

(四)学习与推断。

其中，所述的结构化深度条件随机场(CRF)，包括两个设置，在第一个设置中，给定输入面部图像，首先将预定义的CNN层应用于(归一化)输入图像，以生成特征图；由于池层中的抽样操作较低，所学习的深层特征的分辨率低于原始图像；要嵌入目标结构，在网络的(完全)连接的输出层上放置一个CRF图；这里，网络的每个输出(动作单元)表示该图中的节点，并且使用该CRF中的成对连接对不同节点(动作单元)之间的关系进行建模；为了利用来自多个数据集的信息，使用数据增强学习方法(第二个设置)；在这种方法中，使用来自多个数据集的数据同时训练卷积神经网络(CNN)层，从而产生丰富的特征表示；由于这些数据集可能包含非重叠的动作单元(AU)集合，因此模型输出是所有AU的并集；然而，对于AU的每个组合(数据集)，在CRF成对连接中学习不同的相关性，因为它们的动力学在整个数据集中可能会有很大差异；另一方面，通过共享这些数据集中的重叠AU的模型参数，共同执行图中边缘/节点的建模。

进一步地，所述的结构化CRF，引入一个随机场关联到图其中节点v∈V,|V|＝Q，对应于单独的AU和派系从属AU的子集，使用连接函数建模；用于图像的似然条件x具有标签y，定义如下：

其中，是配分函数和能量函数由一组一元函数和成对电势函数定义的；

其中，U是潜在一元函数，V是成对电势函数；U和V的参数分别是φ和θ；使用f_d(x,W)计算输入特征，其中x是输入，W是网络的权重。

其中，所述的一元电位，令l∈{1,…,L}是第q个AU的强度等级的序数标签，采用标准阈值模型：

其中，β^q是序数投影矢量，是计数水平l的下限阈值

进一步地，所述的一元结点势，通过假定误差(噪声)项ε^q是具有零均值和方差(σ^q)²的函数，它们的正常累积密度函数为和强度为l的动作单元q的概率定义为：

其中，该模型参数存储在最后，在结构性深度CRF中的一元结点势定义如下：