[发明专利]人脸关键点检测方法、装置、电子设备及存储介质

说明书

本申请实施方式公开了人脸关键点检测方法、神经网络的训练方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的人脸关键点检测方法包括：获取待处理图像的图像特征；将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种人脸关键点检测方法、神经网络的训练方法、人脸关键点检测装置、神经网络的训练装置、用于人脸关键点检测的神经网络、电子设备、计算机可读存储介质以及计算机程序。

背景技术

人脸关键点检测是人脸识别、变脸处理、美颜处理、美妆处理、人脸的图像渲染、人脸状态检测、表情检测以及属性检测等诸多应用中不可或缺的一部分。准确的确定出人脸关键点，不仅有利于对人脸的相关位置进行矫正处理，而且有利于增强人脸的语义信息。

发明内容

本申请实施方式提供人脸关键点检测以及神经网络的训练的技术方案。

根据本申请实施方式的其中一方面，提供了一种人脸关键点检测方法，该方法包括：获取待处理图像的图像特征；将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。

在本申请一实施方式中，所述获取待处理图像的图像特征包括：将待处理图像提供给前级神经网络单元，经由所述前级神经网络单元获得所述待处理图像的图像特征。

在本申请又一实施方式中，所述方法还包括：将所述图像特征提供给第二神经网络单元，经由所述第二神经网络单元提取所述待处理图像中的人脸关键点；其中，所述提取出的人脸关键点用于与所述像素点的被遮挡信息一起确定所述待处理图像中的人脸关键点是否被遮挡。

在本申请再一实施方式中，所述像素点的被遮挡信息包括：像素点的被遮挡概率。

在本申请再一实施方式中，所述根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡包括：在人脸关键点所在像素点的被遮挡概率达到预定概率阈值的情况下，确定该人脸关键点被遮挡；和/或在人脸关键点所在像素点的被遮挡概率未达到预定概率阈值的情况下，确定该人脸关键点未被遮挡。

在本申请再一实施方式中，所述方法还包括：在根据被遮挡的人脸关键点确定出人脸中的相应部位处于被遮挡状态的情况下，针对所述部位不进行处理；其中，所述处理包括：变脸处理、美颜处理、美妆处理、人脸的图像渲染处理、人脸状态检测处理、表情检测处理以及器官精细定位处理中的至少一个。

在本申请再一实施方式中，所述方法还包括：基于样本数据集训练所述第一神经网络单元；其中，所述样本数据集中的图像样本包括有表示人脸关键点是否被遮挡的标注信息表示人脸关键点是否被遮挡的标注信息表示人脸关键点是否被遮挡的标注信息。

在本申请再一实施方式中，所述样本数据集还包括：图像样本的人脸关键点标注数据。

在本申请再一实施方式中，所述图像样本包括：设置有遮挡物的图像样本。

在本申请再一实施方式中，该方法还包括：在图像样本上设置遮挡物，并在样本数据集中设置被所述遮挡物遮挡的人脸关键点的表示人脸关键点是否被遮挡的标注信息表示人脸关键点是否被遮挡的标注信息。

在本申请再一实施方式中，所述遮挡物包括：色块。

在本申请再一实施方式中，所述方法还包括：对所述图像样本进行变换处理，形成新的图像样本；所述变换处理包括：平移、旋转、缩放以及镜像处理中的一个或多个。