[发明专利]一种基于知识蒸馏的人脸姿态估计方法及系统

权利要求书

1.一种基于知识蒸馏的人脸姿态估计方法，用于实现目标分类网络对图像人脸姿态的估计，其特征在于：针对目标分类网络中最后全连接层，替换为三个分别对应偏航角方向、俯仰角方向、翻滚角方向的分支全连接层，各分支全连接层的输入端共同对接目标分类网络中最后一级特征提取模块的输出端，并且各分支全连接层分别对接一个分支分类层，构建学生分类网络；

基于学生分类网络，执行如下步骤A至步骤E，获得人脸姿态估计模型；以及应用人脸姿态估计模型，执行步骤i至步骤ii，针对目标人脸图像中的人脸姿态实现估计；

步骤A.收集预设数量的人脸姿态样本图像，并确定各幅人脸姿态样本图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向的真实角度值，然后进入步骤B；

步骤B.选择结构大于学生分类网络结构的教师初始分类网络；然后以人脸姿态样本图像为输入，人脸姿态样本图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向上预设所划分各角度区间的概率为输出，针对教师初始分类网络进行训练，获得教师分类网络，然后进入步骤C；

步骤C.以学生分类网络中各级特征提取模块中最后归一化层输出特征分别与教师分类网络中对应特征提取模块中最后归一化层输出特征之间特征距离构建特征蒸馏损失函数loss_D；并且以学生分类网络中各分支全连接层的输出，结合人脸姿态样本图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向的真实角度值所对应的角度区间，构建角度分类损失loss_CE；以及基于学生分类网络输出人脸分别对应偏航角方向、俯仰角方向、翻滚角方向上预设所划分各角度区间的概率，通过各角度区间类别概率计算数学期望，获得各方向上对应角度连续值作为预测角度，构建角度回归损失loss_MSE；然后进入步骤D，其中，1≤i≤I，I表示学生分类网络中特征提取模块的数量；

步骤D.按如下公式：

loss_yaw＝loss_CE(logit_yaw,y_yaw)+αloss_MSE(yaw_p,yaw)+βloss_D；

loss_pitch＝loss_CE(logit_pitch,y_pitch)+αloss_MSE(pitch_p,pitch)+βloss_D；

loss_roll＝loss_CE(logit_roll,y_roll)+αloss_MSE(roll_p,roll)+βloss_D；

构建分别对应偏航角方向、俯仰角方向、翻滚角方向的损失函数loss_yaw、loss_pitch、loss_roll，然后进入步骤E；其中，α和β分别为预设损失权重系数，logit_yaw、logit_pitch、logit_roll分别为学生分类网络中分别对应偏航角方向、俯仰角方向、翻滚角方向的分支全连接层的输出值，y_yaw、y_pitch、y_roll分别为人脸姿态分别对应偏航角方向、俯仰角方向、翻滚角方向的真实角度所对应的区间类别，yaw_p、pitch_p、roll_p分别为基于学生分类网络所获对应偏航角方向、俯仰角方向、翻滚角方向的预测角度连续值，yaw、pitch、roll分别为人脸姿态对应偏航角方向、俯仰角方向、翻滚角方向的真实角度值；

步骤E.以人脸姿态样本图像同时输入教师分类网络与学生分类网络，人脸姿态样本图像中人脸分别对应偏航角方向、俯仰角方向、翻滚角方向上预设所划分各角度区间的概率为输出，结合分别对应偏航角方向、俯仰角方向、翻滚角方向的损失函数loss_yaw、loss_pitch、loss_roll，针对学生分类网络进行训练，获得人脸姿态估计模型；

步骤i.应用人脸姿态估计模型，针对目标人脸图像进行处理，获得目标人脸图像中人脸姿态分别对应偏航角方向、俯仰角方向、翻滚角方向上预设所划分各角度区间的概率，然后进入步骤ii；

步骤ii.根据目标人脸图像中人脸姿态分别对应偏航角方向、俯仰角方向、翻滚角方向上预设所划分各角度区间的概率，通过各角度区间类别概率计算数学期望，获得各方向上对应角度连续值作为预测角度，即目标人脸图像中人脸姿态分别对应偏航角方向、俯仰角方向、翻滚角方向的预测角度，实现对图像人脸姿态中人脸姿态的估计。