[发明专利]一种基于面部动作单元强度估计的表情分析方法

权利要求书

1.一种基于面部动作单元强度估计的表情分析方法，其特征在于，主要包括结构化深度条件随机场(CRF)(一)；一元电势(二)；成对电势(三)；学习与推断(四)。

2.基于权利要求书1所述的结构化深度条件随机场(CRF)(一)，其特征在于，包括两个设置，在第一个设置中，给定输入面部图像，首先将预定义的CNN层应用于(归一化)输入图像，以生成特征图；由于池层中的抽样操作较低，所学习的深层特征的分辨率低于原始图像；要嵌入目标结构，在网络的(完全)连接的输出层上放置一个CRF图；这里，网络的每个输出(动作单元)表示该图中的节点，并且使用该CRF中的成对连接对不同节点(动作单元)之间的关系进行建模；为了利用来自多个数据集的信息，使用数据增强学习方法(第二个设置)；在这种方法中，使用来自多个数据集的数据同时训练卷积神经网络(CNN)层，从而产生丰富的特征表示；由于这些数据集可能包含非重叠的动作单元(AU)集合，因此模型输出是所有AU的并集；然而，对于AU的每个组合(数据集)，在CRF成对连接中学习不同的相关性，因为它们的动力学在整个数据集中可能会有很大差异；另一方面，通过共享这些数据集中的重叠AU的模型参数，共同执行图中边缘/节点的建模。

3.基于权利要求书2所述的结构化CRF，其特征在于，引入一个随机场关联到图其中节点v∈V,|V|＝Q，对应于单独的AU和派系从属AU的子集，使用连接函数建模；用于图像的似然条件x具有标签y，定义如下：

P(y|x,Ω)=1Z(x)exp[-E(y,x,Ω)]---(1)]]>

其中，是配分函数和能量函数由一组一元函数和成对电势函数定义的；

E(y,x,Ω)=Σq∈VU(yq,fd,φq)+Σq∈VV(yr,ys,fd,θr,s)---(2)]]>

其中，U是潜在一元函数，V是成对电势函数；U和V的参数分别是φ和θ；使用f_d(x,W)计算输入特征，其中x是输入，W是网络的权重。