[发明专利]用于人脸关键点定位与语义分割的多任务检测装置

说明书

本发明涉及数字图像处理技术领域，具体提供了一种用于人脸关键点定位与语义分割的多任务检测装置，旨在解决如何同时提高人脸关键点定位和人脸语义分割准确性的技术问题。为此目的，本发明中的多任务深度模型可以采用深度学习算法对目标人脸图像进行语义分割，并获取目标人脸图像中的人脸关键点。具体地，关键点定位模块可以基于编码网络并依据人脸特征获取人脸关键点的位置信息，语义分割模块可以基于解码网络对特征图进行语义分割。本发明中多任务深度模型采用编解码网络结构，同时还通过信息增强单元将编码网络中的浅层信息引入到解码网络，因而能够兼顾人脸关键点定位与语义分割之间的协同信息，进而提供高人脸关键点定位和语义分割的准确性。

技术领域

本发明涉及数字图像处理技术领域，具体涉及了一种用于人脸关键点定位与语义分割的多任务检测装置。

背景技术

人脸图像分析技术主要应用于情感识别和人脸识别等领域，其中，人脸关键点定位技术和人脸语义分割技术，作为人脸图像分析技术中的基础性分析技术，其检测结果将会极大地影响最终的人脸图像分析结果。当前，在人脸图像分析过程中主要采用单独处理的方式，即分别实施人脸关键点定位和人脸语义分割，但是这种处理方式未考虑人脸关键点定位与人脸语义分割之间的协同关系，因此会损失部分信息进而降低人脸图像分析结果的准确性。

发明内容

为了解决现有技术中的上述问题，即为了解决如何同时提高人脸关键点定位和人脸语义分割准确性的技术问题，本发明提供了一种用于人脸关键点定位与语义分割的多任务检测装置。

本发明中的多任务检测装置包括多任务深度模型，其配置为采用深度学习算法对目标人脸图像进行语义分割，并获取所述目标人脸图像中的人脸关键点；

所述多任务深度模型包括关键点定位模块和语义分割模块；

所述关键点定位模块，配置为基于编码网络提取所述目标人脸图像中的人脸特征，并依据所提取的人脸特征获取人脸关键点的位置信息；

所述语义分割模块，配置为基于解码网络对特征图进行语义分割；其中，所述特征图为所述关键点定位模块输出的包含人脸关键点的位置信息的图像；所述解码网络中每个解码单元分别与编码网络中对应的编码单元连接。

进一步地，本发明提供的一个优选技术方案为：

所述装置还包括第一模型训练模块，其配置为基于预设第一训练样本图像，并按照下式所示的损失函数loss_L对所述关键点定位模块进行网络训练，其中，所述预设第一训练样本图像包含人脸关键点与五官语义分割标注信息；

其中，所述N和i分别为预设第一训练样本图像中人脸关键点的总数和序号，所述为采用所述关键点定位模块对所述预设第一训练样本图像检测得到的第i个人脸关键点的位置信息，所述(a_i,b_i)为对所述预设第一训练样本图像中第i个人脸关键点进行归一化处理后的位置信息，

并且所述(x_i,y_i)为所述第i个人脸关键点对应的像素位置信息，ω和h分别为所述预设第一训练样本图像的宽和高，(x,y)为所述预设第一训练样本图像的中点位置信息。

进一步地，本发明提供的一个优选技术方案为：

所述装置还包括第二模型训练模块，其配置为按照下式所示的损失函数loss_S对所述语义分割模块进行网络训练：