[发明专利]基于自适应补丁学习的面部AU检测模型建立方法及应用

说明书

本发明公开了一种基于自适应补丁学习的面部AU检测模型建立方法及应用，属于计算机视觉技术领域，包括：建立初始神经网络模型并训练，得到面部AU检测模型；模型包括：全局特征学习模块，用于从人脸图像中提取全局人脸特征F_global；人脸关键点位置学习模块，用于从F_global中学习得到人脸关键点位置P_align；自适应多尺度补丁学习模块，包括：自适应补丁提案子模块，用于根据P_align从F_global中划分出多种尺度的补丁区域；多尺度补丁学习子模块，用于通过补丁学习得到各尺度补丁区域的特征后级联为AU特征；以及AU预测模块，用于根据AU特征预测各AU标签出现的概率；补丁区域包括AU级尺度区域、关联级尺度区域和人脸级尺度区域。本发明能够减少头部姿态影响，提高AU检测精度。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于自适应补丁学习的面部AU检测模型建立方法及应用。

背景技术

面部动作单元(Action Unit,AU)是人脸动作编码系统(Facial Action CodingSystem,FACS)定义的局部面部区域中的基本面部运动，它描述了面部表情的细粒度变化。人脸运动单元检测是指确定给定的人脸图像中各类AU是否出现。AU检测是一项重要的人脸分析任务，通过计算机自动检测AU及其组合，有助于准确分析面部表情和理解个体情绪，应用于健康、娱乐、公共安全等各个领域。

AU本质是人脸局部区域的肌肉激活模式，每个AU标签对应了一些特定肌肉运动，不同的AU具有不同的结构和纹理信息，因此显式的局部特征学习有助于提升AU检测的精度。传统的局部区域划分方法将输入的卷积特征图均匀划分为若干个补丁区域，并对每个补丁区域采用不同的卷积核进行局部特征学习。这类方法无法在不同头部姿态下裁剪出语义对齐的补丁区域，使得AU检测的精度受到了一定的限制。

此外，AU往往以组合的方式被激活，如高兴表情一般包含了AU6和AU12的组合，因此AU之间具有时间相关性，这种相关信息可以辅助提高AU检测精度，为了利用AU之间的时间相关性，传统的AU关系建模方法多采用玻尔兹曼机或贝叶斯网络，但没有考虑AU的空间相关性，限制了相关方法的检测精度。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于自适应补丁学习的面部AU检测模型建立方法及应用，其目的在于，减少头部姿态影响，捕获不同尺度下的AU特征，提高AU检测精度。

为实现上述目的，按照本发明的一个方面，提供了一种基于自适应补丁学习的面部AU检测模型建立方法，包括：建立初始神经网络模型并对其进行训练，得到面部AU检测模型；

初始神经网络模型包括：

全局特征学习模块，用于对包含人脸的输入图像进行特征提取，得到包含了全局人脸结构和上下文特征的全局人脸特征；

人脸关键点位置学习模块，用于从全局人脸特征中学习得到人脸关键点位置；

自适应多尺度补丁学习模块，包括：自适应补丁提案子模块，用于根据人脸关键点位置从全局人脸特征中划分出多种尺度的补丁区域；多尺度补丁学习子模块，用于对多种尺度的补丁区域进行补丁学习，得到各补丁区域的特征后将所得到的补丁区域特征级联为AU特征；多种尺度的补丁区域包括AU级尺度区域；AU级尺度区域为以AU中心位置为中心的正方形区域；

以及，AU预测模块，用于根据AU特征预测各AU标签出现的概率。

本发明所建立的面部AU检测模型，引入了AU检测和人脸对齐两个高度相关任务的联合学习框架，在进行AU检测时，先基于预测的人脸关键点确定AU中心位置，再基于AU中心位置进行局部区域划分，然后在指定区域内进行AU检测，由于区域划分的结果是与输入图像的人脸关键点位置自适应的，因此，有效减弱了头部姿态变化对于AU检测结果的影响，提高了AU检测的精度。