[发明专利]用于人脸关键点定位与语义分割的多任务检测装置

权利要求书

1.一种用于人脸关键点定位与语义分割的多任务检测装置，其特征在于，所述装置包括多任务深度模型，其配置为采用深度学习算法对目标人脸图像进行语义分割，并获取所述目标人脸图像中的人脸关键点；

所述多任务深度模型包括关键点定位模块和语义分割模块；

所述关键点定位模块，配置为基于编码网络提取所述目标人脸图像中的人脸特征，并依据所提取的人脸特征获取人脸关键点的位置信息；

所述语义分割模块，配置为基于解码网络对特征图进行语义分割；其中，所述特征图为所述关键点定位模块输出的包含人脸关键点的位置信息的图像；所述解码网络中每个解码单元分别与编码网络中对应的编码单元连接；

所述编码单元包括相连的卷积层和下采样层，其中，所述卷积层的输入端与所述下采样层的输出端分别为该编码单元的输入端与输出端；

所述解码单元包括依次连接的上采样层、信息增强单元与卷积层，并且所述信息增强单元还与对应编码单元中卷积层的输出端连接，其中，所述上采样层的输入端与所述卷积层的输出端分别为该解码单元的输入端与输出端；

所述信息增强单元包括第一增强子单元；

所述第一增强子单元包括两个卷积层和一个残差相加子单元，其中，所述第一增强子单元的一个输入端直接与所述残差相加子单元的一个输入端连接，所述第一增强子单元的另一个输入端通过一个所述卷积层与所述残差相加子单元的另一个输入端连接，所述第一增强子单元的输出端通过另一个所述卷积层与所述残差相加子单元的输出端连接；

所述信息增强单元包括第二增强子单元；

所述第二增强子单元包括两个卷积层和一个叠加子单元，其中，所述第二增强子单元的一个输入端通过一个所述卷积层与所述叠加子单元的一个输入端连接，所述第二增强子单元的另一个输入端直接与所述叠加子单元的另一个输入端连接，所述第二增强子单元的输出端通过另一个所述卷积层与所述叠加子单元的输出端连接。

2.根据权利要求1所述的多任务检测装置，其特征在于，所述装置还包括第一模型训练模块，其配置为基于预设第一训练样本图像，并按照下式所示的损失函数loss_L对所述关键点定位模块进行网络训练，其中，所述预设第一训练样本图像包含人脸关键点与五官语义分割标注信息；

其中，所述N和i分别为预设第一训练样本图像中人脸关键点的总数和序号，所述为采用所述关键点定位模块对所述预设第一训练样本图像检测得到的第i个人脸关键点的位置信息，所述(a_i,b_i)为对所述预设第一训练样本图像中第i个人脸关键点进行归一化处理后的位置信息，

并且所述(x_i,y_i)为所述第i个人脸关键点对应的像素位置信息，ω和h分别为所述预设第一训练样本图像的宽和高，(x,y)为所述预设第一训练样本图像的中点位置信息。

3.根据权利要求1所述的多任务检测装置，其特征在于，所述装置还包括第二模型训练模块，其配置为按照下式所示的损失函数loss_S对所述语义分割模块进行网络训练：

其中，所述为特征图中第j个像素点对应的五官语义分割标注信息；所述所述中的“z_j,c”为语义分割模块中输出层的第c个通道所输出的第j个像素点的像素值，所述为语义分割模块中输出层所输出的第j个像素点的像素累加值，所述中的z_j为语义分割模块中输出层所输出的第j个像素点的最大像素值，所述n为语义分割模块中输出层所输出的特征图分辨率。

4.根据权利要求1所述的多任务检测装置，其特征在于，

所述解码网络中首个所述解码单元的信息增强单元为所述第一增强子单元，其他所述解码单元的信息增强单元为所述第二增强子单元。

5.根据权利要求1-3任一项所述的多任务检测装置，其特征在于，所述装置还包括第三模型训练模块，其配置为基于预设第二训练样本图像，并按照下式所示的损失函数Loss_D对所述关键点定位模块进行初始化网络训练：

Loss_D＝-(1-l)*log(1-p)-l*log(p)

其中，所述p为关键点定位模块预测所述预设第二训练样本图像为正样本的概率，所述l为所述预设第二训练样本图像的训练标注，当输入至关键点定位模块的预设第二训练样本图像为正样本时l＝1，当输入至关键点定位模块的预设第二训练样本图像为负样本时l＝0，所述正样本与负样本分别为包含与未包含人脸的图像。