[发明专利]基于自适应补丁学习的面部AU检测模型建立方法及应用

权利要求书

1.一种基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，包括：建立初始神经网络模型并对其进行训练，得到所述面部AU检测模型；

所述初始神经网络模型包括：

全局特征学习模块，用于对包含人脸的输入图像进行特征提取，得到包含了全局人脸结构和上下文特征的全局人脸特征；

人脸关键点位置学习模块，用于从所述全局人脸特征中学习得到人脸关键点位置；

自适应多尺度补丁学习模块，包括：自适应补丁提案子模块，用于根据所述人脸关键点位置从所述全局人脸特征中划分出多种尺度的补丁区域；多尺度补丁学习子模块，用于对所述多种尺度的补丁区域进行补丁学习，得到各补丁区域的特征后将所得到的补丁区域特征级联为AU特征；所述多种尺度的补丁区域包括AU级尺度区域；所述AU级尺度区域为以AU中心位置为中心的正方形区域；

以及，AU预测模块，用于根据所述AU特征预测各AU标签出现的概率。

2.如权利要求1所述的基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，所述多种尺度的补丁区域还包括：关联级尺度区域；所述关联级尺度区域为依赖性和空间关联性均满足预设条件的两个AU级尺度区域的最小外接矩形区域。

3.如权利要求2所述的基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，所述多种尺度的补丁区域还包括：人脸级尺度区域；所述人脸级尺度区域为位于同一人脸情绪表达区域内的AU级尺度区域的最小外接矩形区域。

4.如权利要求2所述的基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，空间关联性满足预设条件是指：同一个关联级尺度区域中，两个AU级尺度区域的AU中心位置之间的距离小于预设阈值。

5.如权利要求1所述的基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，所述多种尺度的补丁区域还包括：人脸级尺度区域；所述人脸级尺度区域为位于同一人脸情绪表达区域内的AU级尺度区域的最小外接矩形区域。

6.如权利要求1～5任一项所述的基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，所述初始神经网络模型的训练包括：

第一阶段：冻结所述自适应多尺度补丁学习模块的所有参数，利用由已标注人脸关键点位置标签的人脸图像所构成的第一数据集对所述初始神经网络模型进行训练，得到中间模型；

第二阶段：不冻结参数，利用由已标注人脸关键点位置标签和AU标签的人脸图像所构成的第二数据集对所述中间模型整体进行训练，得到所述面部AU检测模型。

7.如权利要求6所述的基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，在利用所述第一数据集对所述初始神经网络模型进行训练之前，还包括：对所述第一数据集进行数据增强操作；

并且，在利用所述第二数据集对所述中间模型整体进行训练之前，还包括：对所述第二数据集进行数据增强操作；

所述数据增强操作包括：通过旋转、缩放、平移中的一种或多种操作获得图像规模为D_in×D_in×3的第一RGB人脸图像；将所述第一RGB人脸图像随机裁剪为规模为D×D×3的第二RGB人脸图像并进行水平翻转；

其中，D_in和D均为正整数，且D_inD。