[发明专利]人脸点处理方法及装置

说明书

本公开提供一种人脸点处理方法及装置，涉及图像处理技术领域。本公开提供的人脸点处理方法及装置，基于人脸点拟合网络，对待检测的人脸五官图像进行降采样，提取人脸点特征信息，得到人脸点数据，基于分割网络，对人脸点特征信息进行升采样，得到人脸五官掩模。本公开提供的人脸点处理方法及装置，通过将人脸点拟合网络和分割网络进行结合，对人脸五官图像进行处理，实现人脸点数据以及五官掩模的输出，节约了时间成本并提高了精度。

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种人脸点处理方法及装置。

背景技术

人脸点对齐在生产中有十分广泛的应用场景，可以为人的脸部添加AR(AugmentedReality，增强现实)素材、上妆，甚至辅助建立人脸的3D(三维，3Dimensions)模型。在实际应用场景中，大多采用每帧回归的方式得到人脸点，然后根据每帧的人脸点差值拟合出一个掩模，根据掩模对人脸五官各部分进行上妆等处理。但是，以这种方式拟合掩模，其时间成本较高且精度较低。

发明内容

基于上述研究，本公开提供了一种人脸点处理方法及装置。

本公开的实施例可以这样实现：

第一方面，本公开实施例提供一种人脸点处理方法，应用于电子设备，所述电子设备存储有人脸点拟合网络以及分割网络；所述方法包括：

基于所述人脸点拟合网络，对待检测的人脸五官图像进行降采样，提取人脸点特征信息，得到人脸点数据；

基于所述分割网络，对所述人脸点特征信息进行升采样，得到人脸五官掩模。

进一步地，所述人脸点拟合网络以及分割网络通过以下步骤训练得到：

基于待训练的人脸点拟合网络，对人脸五官图片进行降采样，提取第一人脸点特征信息，得到第一人脸点数据；

基于待训练的分割网络，对所述第一人脸点特征信息进行升采样，得到第一人脸五官掩模；

根据所述第一人脸五官掩模和所述第一人脸点数据，结合预先得到的样本数据，基于预设损失函数，通过反向传播算法对所述待训练的人脸点拟合网络的权值和所述待训练的分割网络的权值进行调整，直至所述预设损失函数的输出小于预设阈值。

进一步地，所述预设损失函数包括预设第一损失函数和预设第二损失函数，所述根据所述第一人脸五官掩模和所述第一人脸点数据，结合预先得到的样本数据，基于预设损失函数，通过反向传播算法对所述待训练的人脸点拟合网络的权值和所述待训练的分割网络的权值进行调整的步骤包括：

根据所述第一人脸五官掩模、所述第一人脸点数据以及所述样本数据，基于所述预设第一损失函数，通过反向传播算法对所述待训练的人脸点拟合网络的权值进行调整；

基于调整后的人脸点拟合网络，得到第二人脸点特征信息，根据所述第二人脸点特征信息，得到第二人脸五官掩模；

根据所述第二人脸五官掩模，基于所述预设第二损失函数，通过反向传播算法对所述待训练的分割网络的权值进行调整。

进一步地，所述预设第二损失函数为交叉熵损失函数，所述预设第一损失函数为：

其中，l_i为人脸点数据中每个人脸点的坐标；L_i为样本数据中每个人脸点的坐标；I_xi，yi为人脸五官掩模的像素点；r为判断该像素点是否可见的阈值；N为样本数据的数量，i为样本数据中的任意一个样本。

进一步地，所述人脸点拟合网络包括多个降采样单元，每个所述降采样单元的输出尺寸为上一个降采样单元的输出尺寸的1/C，C为正整数。