[发明专利]一种基于微表情识别和眼动追踪的对情绪预测的方法

权利要求书

1.一种基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，包括如下步骤：

(1)输入被观测者接受某种信号刺激后的面部视频，进行微表情识别；具体包括如下步骤：

(a)输入被观测者接受某种信号刺激后的面部视频；

(b)通过建模，区分面部视频中的人脸和非人脸像素，得到人脸图像；

(c)对步骤(b)得到的人脸图像进行预处理，得到候选脸图像；

(d)对步骤(c)中得到的候选脸图像，进行面部标志，利用参数化模型对人脸进行描述；

(e)利用步骤(d)的面部标志，利用SVM，按照AU强度级别，分为(O,A,B,C,D,E)；

(f)对步骤(e)得到的从O到E的强度水平，进行归一化，得到一列数据，将30列数据构成一个面部矩阵FM，传输到步骤g；

(g)对步骤(f)中传递的矩阵FM，利用前馈神经网络FFNNs，经过两个隐藏层和softmax函数，实现对抑郁、焦虑、压力进行强度评估，并对三种情绪状态进行初预判；

(2)输入被观测者接受某种信号刺激后的面部视频，进行眼动追踪；

(3)将步骤(1)中的微表情识别结果与步骤(2)中的眼动追踪结果相融合，判断当前被观测者的抑郁、焦虑、压力情感状态。

2.如权利要求1所述的基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，步骤(b)中，人脸图像进行基于YCrCb-Otsu算法创建的皮肤统计模型，将图像像素分为面部和非面部像素，获得仅包含分类为与面部相关的区域的图像，包括如下步骤：

(b1)将含有面部信息RGB图像转换为YCrCb颜色空间即YUV空间；

(b2)提取转化后的Cr分量图像；

(b3)对Cr分量做二值化阈值分割处理；

(b4)根据Otsu法分割处理的结果，将所判别的背景图像进行遮盖。

3.如权利要求1所述的基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，步骤(c)中，预处理使用基于Gabor滤波进行降噪处理，具体包括如下步骤：

(c1)将含有噪声信息的图像F(x,y)，利用对称的2D-Gauss得到函数值g(x,y)，对称的2D-Gauss定义为：

(c2)利用沿x轴的复变正弦波e^jωx对g(x,y)函数进行扩展，通过参数ω得到G(x,y)，其中沿x轴的复变正弦波e^jωx进行欧拉展开公式和G(x,y)定义为：

(c3)根据3σ原理，利用自定义的中心频率f，将上式中l，进行如下定义：

(c4)将原本的x，y坐标转化为以θ角为主的方向坐标转换得到新坐标(x'，y')，转换公式如下：

x′＝xcosθ+ysinθ y′＝-xsinθ+ycosθ；

(c5)利用步骤(c3)和步骤(c4)中l和(x,y)坐标转换，对G(x,y)函数进行重新书写，分为实部函数G_R(x,y)和虚部函数G_l(x,y)：

(c6)将含噪声的图像与含有实部虚部的滤波器进行卷积，达到降噪的目的，卷积定义如下：

Q(x,y)＝{[G_R(x,y)*F(x,y)]²+[G_l(x,y)*F(x,y)]²}^1/2。

4.如权利要求1所述的基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，步骤(d)中，利用活动外观模型AAM，以Procrustes变换为人脸对齐算法，提取面部特征，并采用主成分分析PCA方法实现训练面孔和估计新面孔；步骤(e)中，参数化模型的非刚性参数，利用SVM对AU的强度水平进行分类，具体分为(O，A，B，C，D，E)五种等级强度；步骤(f)中，利用归一化，结合相邻帧强度数据，构成面部矩阵FM。