[发明专利]一种基于微表情识别和眼动追踪的对情绪预测的方法

说明书

本发明公开了一种基于微表情识别和眼动追踪的对情绪预测的方法，包括如下步骤：(1)输入被观测者接受某种信号刺激后的面部视频，进行微表情识别；(2)输入被观测者接受某种信号刺激后的面部视频，进行眼动追踪；(3)将步骤(1)中的微表情识别结果与步骤(2)中的眼动追踪结果相融合，判断当前被观测者的抑郁、焦虑、压力情感状态。本发明通过微表情识别出的情绪状态比率与眼动追踪的情绪状态比率相结合，更准确的预测被观测者在面对某种心理刺激信号后的抑郁、焦虑、压力负面情绪状态。

技术领域

本发明涉及模式识别技术领域，尤其是一种基于微表情识别和眼动追踪的对情绪预测的方法。

背景技术

随着计算机视觉和模式识别技术的飞速发展，人脸表情识别同样也取得许多成果。但当前对人脸表情识别主要集中在以EFACS提供的基于AUs进行表达的6种基本情绪表达高兴、悲伤、愤怒、厌恶、恐惧、惊讶，对于当下社会背景下，“心理亚健康”主要体现在抑郁、焦虑、压力等负面隐晦情绪。

在之前的研究过程中，缺少关于抑郁、焦虑、压力等负面隐晦情绪的面部表情数据库等问题，无法通过大量样本学习的方式对这样的情绪所展现的面部特征进行学习。同样，在社会压力的背景下，识别人们“心理亚健康”状态的研究课题，不仅能进一步提高自动化识别表情的能力，而且具有了很重要的社会价值。

通过一定的心理学知识可知，对于抑郁、焦虑、压力等方面负面隐晦情绪进行表达式，人们的面部表情会发生相应的变化，但一个人的眼神状态同样能够反映出在当前隐晦的情绪状态。例如，当一个人在接受某种心理信号后，情绪状态变为焦虑，除了面部微表情能够读取到焦虑状态外，眼球不断的进行一定幅度的左右移动，透露出当前被观测者焦虑的心理状态。因此通过面部微表情识别技术与眼动追踪技术相融合，双向判断被观测者接受某心理信号后的心理状态。

发明内容

本发明所要解决的技术问题在于，提供一种基于微表情识别和眼动追踪的对情绪预测的方法，通过结合微表情识别出的情绪状态比率与眼动追踪的情绪状态比率相结合，更准确的预测被观测者在面对某种心里刺激信号后的负面情绪状态。

为解决上述技术问题，本发明提供一种基于微表情识别和眼动追踪的对情绪预测的方法，包括如下步骤：

(1)输入被观测者接受某种信号刺激后的面部视频，进行微表情识别；

(2)输入被观测者接受某种信号刺激后的面部视频，进行眼动追踪；

(3)将步骤(1)中的微表情识别结果与步骤(2)中的眼动追踪结果相融合，判断当前被观测者的抑郁、焦虑、压力情感状态。

优选的，步骤(1)中，输入被观测者接受某种信号刺激后的面部视频，进行微表情识别具体包括如下步骤：

(a)输入被观测者接受某种信号刺激后的面部视频；

(b)通过建模，区分面部视频中的人脸和非人脸像素，得到人脸图像；

(c)对步骤(b)得到的人脸图像进行预处理，得到候选脸图像；

(d)对步骤(c)中得到的候选脸图像，进行面部标志，利用参数化模型对人脸进行描述；

(e)利用步骤(d)的面部标志，利用SVM，按照AU强度级别，分为(O,A,B,C,D,E)；

(f)对步骤(e)得到的从O到E的强度水平，进行归一化，得到一列数据，将30列数据构成一个面部矩阵FM，传输到步骤g；

(g)对步骤(f)中传递的矩阵FM，利用前馈神经网络FFNNs，经过两个隐藏层和softmax函数，实现对抑郁、焦虑、压力进行强度评估，并对三种情绪状态进行初预判。