[发明专利]一种面部语义认知特征识别方法

说明书

技术领域

本发明涉及人机交互行为理解技术领域，尤其涉及一种面部语义认知特征识别方法。

背景技术

人的面部包含了丰富的信息，是反映人类心理活动的重要指示器，也是人际交流中经常使用、不可或缺的表达方式，作为一种重要的非语言通道，对理解用户的态度和意图具有不可替代的重要作用。因此在多模态人机接口以及人机交互下的动作和行为理解等方面，面部外显的表征就成为一个重要的研究课题。

当前面部外显表征方法可以分为两大类：包括基于面部运动编码系统（Facial Action Coding System,FACS：面部运动编码系统）的符号描述与基于纹理、灰度、颜色、形状等的数学描述。上述描述的不足之处在于：(1)尽管大量研究都采用数学表达方式来表述面部线索，但是认知科学的研究成果表明：人类推理是典型的符号推理，数据驱动方式只有与模型推理相结合，才能取得更好的效果。(2)FACS运动单元（Action Units,AUs：运动单元）是描述精细面部肌肉运动的主流方式，研究者往往直接利用运动单元及其组合作为面部外显的表征。而在现实生活中，人们往往倾向于利用比肌肉运动更为直观/感性的方式来描述面部的状态，例如“目不转睛”、“目瞪口呆”、“摇头晃脑”、“呲牙咧嘴”等。可见，直接用面部肌肉运动来描述面部的运动还不是非常符合人类已有的认知机制。

发明内容

本发明解决的技术问题在于借鉴人类认知经验实现面部外显的信息表征（我们称之为面部外显的语义认知特征），从而使面部外显的信息描述符合人的主观认识，并建立面部外显语义认知特征提取的计算模型和实现方案。

为了解决以上问题，一种面部语义认知特征识别方法，包括以下步骤：

面部语义认知特征构建步骤，抽取面部语义认知特征，建立面部语义认知特征与面部运动单元之间的映射关系；

面部语义认知特征提取计算模型设计步骤，根据面部外显的生理特性，建立分层、动态、多分辨率的面部语义认知特征提取计算模型；

面部语义认知特征提取实现步骤，利用多级阈值以及隐马尔可夫算法实现面部运动单元检测和面部语义认知特征提取。

进一步，作为一种优选，所述面部语义认知特征提取实现步骤具体包括：

运动单元序列分割步骤，对面部运动单元进行时空分析，形成面部语义认知特征的输入序列；

模型训练步骤，利用训练样本集的运动单元序列获取隐马尔可夫模型参数和模型门限阈值；

认知特征检测步骤，输入运动单元序列和训练好的隐马尔可夫模型，判断该序列是否归属于模型所代表的面部认知语义特征。

进一步，作为一种优选，所述运动单元序列分割步骤，进一步包括：

预处理步骤，利用Ad boost算法检测每帧图像中是否包含人脸，然后利用主动形状模型（Active Shape Model，ASM：主动形状模型）算法计算人脸的面部关键特征点位置，利用面部关键特征点位置获取各种关键区域的位置；

帧内运动单元分析步骤，采用多级阈值决策法将面部信息映射为相应的运动单元符号描述；

帧间运动单元检测步骤，对上述帧内运动单元进行时域分析，采用最大值法将每F1帧的帧内运动单元映射成1个帧间运动单元。

进一步，作为一种优选，所述运动单元序列分割步骤具体为：对视频流中出现的帧内运动单元采用多级阈值决策法进行识别，并暂存识别结果；当输入流里的帧内运动单元长度达到F₁时，就触发一个帧间运动单元检测事件；当帧间运动单元长度积累到F₂时，则形成一个面部语义认知特征输入序列。

进一步，作为一种优选，所述最佳阈值确定具体为：所有阈值的最优值均采用遍历法确定，也就是说在每个阈值的取值范围内，以一定的步长遍历所有可能的取值，取识别率最高的一组参数作为最终的阈值参数。

进一步，作为一种优选，所述隐马尔可夫模型（Hidden Markov model,HMM：隐马尔可夫模型）参数获取步骤，采用Baum-welch算法进行，为每个认知特征建立了1个隐马尔可夫模型，拓扑结构为遍历型HMM拓扑结构，在模型训练过程中，采用经验最小概率法确定概率门限阈值。

进一步，作为一种优选，所述模型概率门限阈值训练步骤具体为：

将训练样本的N条帧间运动单元序列{AU_i[1:F₂]}依次通过Baum-welch算法，得到每个序列AU_i[1:F₂]属于该类HMM的概率P_i；