[发明专利]基于动态关联信息嵌入的面部动作单元检测方法

说明书

本发明公开了基于动态关联信息嵌入的面部动作单元检测方法，属于面部AU检测方法技术领域；本发明不同于采用固定的AU关联图谱或全连接图进行AU关联信息学习的方法，引入了一个动态更新的AU关联图谱，利用不同阶段得到的表意不同的特征，自适应地更新AU关联图谱，以挖掘更抽象的AU关联信息。具体来说，浅层特征包含丰富的纹理信息，其可以反应肌肉的细粒度变化，通过肌肉运动的相似性可以推断出AU之间的部分关联信息。随着网络层的加深，节点的特征趋于抽象，表征了各个AU的语义信息，通过语义信息的相似性则可以补充纹理信息中无法捕获的隐式的AU关联信息。本发明的动态更新的AU关联图谱并非全连接图，因此更简洁也更加节省算力。

技术领域

本发明涉及面部AU检测方法技术领域，特别是涉及基于动态关联信息嵌入的面部动作单元检测方法。

背景技术

随着计算机视觉的进步，对于人体微姿态识别的研究发展迅速。人体微姿态识别指的是从图像或视频中提取相关特征，识别人体的微小姿势变化，进而进行情感分析的技术。其中，面部表情中微姿态的检测与识别是一个十分重要的环节。面部表情是肢体语言的一种形式，在人与人之间的情感交流中起重要作用。面部皮肤下肌肉的微姿态运动可以产生各种丰富的表情，传达个体的意图和心理状态。为了更全面地研究面部肌肉运动，Ekman和Friesen 建立了面部动作编码系统(FACS)，该系统基于观察到的肌肉或肌肉群的激活，描述了一种用于编码面部表情的面部动作单元(AU)分类方法。面部 AU 检测是描述面部表情微姿态的基础，其具有广大的应用前景，如情感分析、心理健康评估和人机交互等。因此，如何对面部AU进行有效地检测具有重大研究意义。

在早期，大多数方法尝试设计基于机器学习的模型，但这些模型往往依赖于手工制作的特征，十分脆弱。随着深度学习的快速发展，出现了大量基于卷积神经网络(CNN)和Transformer的强大的面部AU检测方法。其中一些方法专注于区域特征学习，他们设计了各式各样的网络结构，以对面部数据的局部区域进行有效的特征提取。然而，这些方法并没有考虑AU之间存在的可能的相关性。根据解剖学的知识，某个AU并不独立于其他AU而存在，AU之间有着千丝万缕的相关性。学习AU之间的相关性对于AU检测至关重要。

因此，有一些研究对AU之间的相关信息进行了探究，以提高AU检测的性能。这些研究往往基于动态贝叶斯网络(DBN)、限制波尔兹曼机(RBM)、长短期记忆递归神经网络(LSTM)和图卷积网络(GCN)等。与其他相关信息学习方式相比，GCN具有更高的灵活性且建模能力更强。现有的基于GCN的面部AU检测方法往往根据FACS的理论总结或特定数据集上的统计规则建立固定的AU关联图谱，来进行信息的交流和特征的提取。然而，固定的AU关联图谱是有缺陷的。具体来说，基于FACS理论总结的AU关联图谱不可避免地引入了研究者的主观判断，从而会忽略大量AU之间的相关信息；而基于数据集统计规的AU关联图谱则会由于数据集中存在的类不平衡问题趋于偏倚，导致对AU之间真实的相关性的表征能力相对有限。总之，固定的AU关联图谱结构无法动态地探索AU之间的潜在相关性，这限制了AU检测方法的能力。最近，有研究者建立了一个两阶段网络，并使用门控图卷积网络(GGCN)学习每对AU的多维边缘特征，取得了良好的AU检测效果。然而，建模所有AU对的相关性是十分冗余的，且计算成本昂贵。

为了解决上述问题，本发明提出了一种基于动态关联信息嵌入的面部动作单元检测方法。

发明内容

本发明的目的在于提出一种基于动态关联信息嵌入的面部动作单元检测方法以解决现有技术中存在的如下问题：

（1）无法有效且高效地探索AU之间潜在的关联信息；

（2）没有探索多尺度区域特征学习与AU关联信息学习之间的有效融合。

为了实现上述目的，本发明采用了如下技术方案：

基于动态关联信息嵌入的面部动作单元检测方法，具体包括以下内容：

步骤1：利用关键点(Landmark)对每张原始人脸图像进行相似度变换，并将变换后的人脸图像调整为相同大小；