[发明专利]一种基于多任务学习的实时人脸检测及头部姿态估计方法

权利要求书

1.一种基于多任务学习的实时人脸检测及头部姿态估计方法，其特征在于包括以下步骤：

步骤1：搭建人脸检测及头部姿态估计的多任务学习模型，由特征提取网络DLA-34、以及四个支路组成，其中，所述的特征提取网络用于提取输入图片的不同层级的语义信息，所述的不同层级的语义信息指DLA-34特征提取网络中在上采样融合过程当中输出特征图尺寸为输入尺寸1/32，1/16，1/8，1/4的特征图；每种特征图做为一个支路的输入；四条支路结构相同，具体结构依次为一个1*1卷积、一个语义模型及一个任务卷积层；每条支路用于从不同层级语义信息中进行人脸检测以及头部姿态估计；四条支路的输出结果即为最终的人脸检测及对应头部位姿估计结果，当四条支路的识别结果中存在重复的人脸检测结果，对于重复部分仅保留概率最大的人脸检测结果。

步骤2：构建多任务损失函数来评判模型的收敛，包含人脸检测的损失及头部姿态估计的损失两部分；

步骤3：利用人脸检测及头部姿态估计数据集AFLW对网络进行训练，利用反向传播算法不断更新网络的参数，当步骤2的多任务损失函数达到最小时结束训练，得到人脸检测及头部姿态估计的多任务学习模型；

步骤4：将图片输入训练完成的人脸检测及头部姿态估计的多任务学习模型，得到图片中人脸的位置及其头部姿态。

2.根据权利要求1所述的一种基于多任务学习的实时人脸检测及头部姿态估计方法，其特征在于：所述的语义模型采用的是Retinaface中所设计的语义模型。

3.根据权利要求1所述的一种基于多任务学习的实时人脸检测及头部姿态估计方法，其特征在于：所述的任务卷积层是由人脸分类卷积头、人脸框大小卷积头、人脸位置偏差卷积头、头部偏航角卷积头、头部俯仰角卷积头和头部翻滚角卷积头构成的并列结构；其中，所述的人脸分类卷积头用于在像素级上进行人脸判断；所述的人脸框大小卷积头用于在像素级上进行人脸框识别；所述的人脸位置偏差卷积头用于在像素级上计算任务卷积层输入特征图中的人脸位置，与输入图片中的人脸位置的偏差；所述的头部偏航角卷积头用于识别任务卷积层输入特征图中的人脸头部偏航角；所述的头部俯仰角卷积头用于识别任务卷积层输入特征图中的人脸头部俯仰角；所述的头部翻滚角卷积头用于识别任务卷积层输入特征图中的人脸头部翻滚角。

4.根据权利要求1所述的一种基于多任务学习的实时人脸检测及头部姿态估计方法，其特征在于：所述的每个卷积头由两个全卷积层构成，卷积核的大小为1*1及3*3，步长均为1。

5.根据权利要求4所述的一种基于多任务学习的实时人脸检测及头部姿态估计方法，其特征在于：头部偏航角卷积头、头部俯仰角卷积头、头部翻滚角卷积头均输出大小为m*n*66的三维矩阵，用β为[1，2，3，...，66]的66维向量所构成的三维变换矩阵将所述的输出三维矩阵进行变换，变换方式为两矩阵相同位置的元素相乘，来得到最终的头部偏航角、俯仰角、翻滚角的数值。

6.根据权利要求1所述的一种基于多任务学习的实时人脸检测及头部姿态估计方法，其特征在于：所述的多任务损失函数具体由如下公式定义：

L＝L_det+L_0ffset+L_size+L_head

L_det是人脸二分类损失，L_offset是人脸位置偏移损失，L_size是人脸框大小回归损失，L_head是头部姿态损失函数；

其中L_det人脸二分类损失进一步如下公式定义：

其中α和β是超参数，表示在训练图像坐标(x，y)位置中是否是人脸中心点，代表图像(x，y)为人脸坐标的中心点，即为要检测的点，为其它值则在图像(x，y)处不是模型要检测的点，Y_xy是人脸分类卷积头的输出值，N为图像中包含人脸的个数；

L_offset人脸位置偏移损失进一步如下公式定义：

其中P是训练数据集中人脸中心点真实的坐标值，其中R是模型输入尺寸与特征提取网络输出的比值，p为人脸位置偏差卷积头的输出值；

L_size人脸框大小损失进一步如下公式定义：

其中为人脸框大小卷积头输出的预测值，s为训练数据集中人脸框大小的真实标签值；

L_head头部姿态损失函数进一步如下定义：

其中H是交叉熵损失，MSE是平方误差损失函数，y是训练数据集中头部姿态角的标签值，y为头部姿态卷积头输出的预测值，α为超参数。