[发明专利]一种半自动人脸关键点标注方法及存储介质

说明书

本发明涉及了一种半自动人脸关键点标注方法，该方法包括以下步骤：将待标注的人脸图片分为两个部分分别进行标注，人脸五官部分以及人脸轮廓部分；提取人脸五官部分的纹理边缘作为目标曲线V；为偏离人脸五官部分的纹理边缘的点提供锚点P_A，将关键点配准到目标曲线V上，直至得到人脸五官部分满意的标注结果；提取人脸轮廓部分的纹理边缘作为目标曲线V′；将关键点配准到目标曲线V′上，直至得到人脸轮廓部分满意的标注结果。区别于现有技术，本发明可以在标注者提供少量关键信息的条件下，由标注工具自动计算大部分关键点的位置。为不同部位设计了不同的标注方式，其对于关键点标注的初始化具有很强的鲁棒性，适应范围广。

技术领域

本发明涉及图像处理与模式识别的技术领域，特别涉及一种半自动人脸关键点数据标注方法及存储介质，尤其是一种基于迭代非刚性最近点配准法和三维可变模型的半自动人脸稠密关键点标注方法。

背景技术

稠密人脸关键点是人脸上一系列具有固定语义或描述具体轮廓的点，如下巴、眉尖、眼角、眼周等。稠密人脸关键点定位是很多基于人脸理解的计算机视觉任务中的重要预处理步骤，例如人脸识别、三维人脸重构和人脸姿态估计等。现有人脸关键点定位算法，尤其是基于深度学习的关键点定位算法对数据有很强的依赖性，因此数据是影响最终关键点检测模型性能的重要因素。

传统的人脸关键点标注方法遵循一个固定的流程，首先对图片上人脸关键点进行粗略初始化，然后标注者选中偏离的关键点并拖拽至其所认为的正确位置。其中，轮廓关键点的标注尤其困难，由于很多轮廓关键点并没有明确的语义位置，只是定义为“均匀分布在人脸轮廓上”。大部分情况下，标注者在将关键点移动到轮廓上后，还需要再次调整关键点直到它们均匀分布。这种方法在关键点比较少时比较可行，但是在稠密关键点上应用时耗时严重。其中存在的挑战主要有以下两个方面：首先，传统的标注方法中，对于没有明确语义位置的点(如轮廓点)，其最终位置过度依赖于标注者的主观判断，而标注往往需要多个标注者完成，这就导致标注位置随机，数据集标注质量差。其次，反复的拖拽确认需要标注者持续高程度地集中精力，这种方式会使标注者迅速进入疲劳而导致标注效率迅速下降。因此，研究者们迫切需要一种更加高效的标注工具来更快地标注更复杂的数据集。

发明内容

为此，需要提供一种半自动人脸关键点标注方法及存储介质，以实现更快更高效的人脸关键点标注。

为实现上述目的，发明人提供了一种半自动人脸关键点标注方法，该方法包括以下步骤：

步骤101，将待标注的人脸图片分为两个部分分别进行标注，其中一个部分为人脸五官部分，另一个部分为人脸轮廓部分；

步骤102，将人脸五官部分分别点击预先定义好的锚点位置P_a＝[p₁，p₂...，p_l]，通过非镜像反射变换将人脸五官初始化的关键点变换到对应人脸五官部分得到新的初始化关键点

步骤103，提取人脸五官部分的纹理边缘作为目标曲线V；

步骤104，为偏离人脸五官部分的纹理边缘的点提供锚点P_A，通过非刚性最近点配准法将关键点配准到目标曲线V上，重复提供锚点P_A和将关键点配准到目标曲线V上的步骤，直至得到人脸五官部分满意的标注结果；

步骤105，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，对人脸图片进行三维可变模型拟合，将拟合好的三维人脸上的轮廓关键点投影到二维图片上得到轮廓点的初始位置

步骤106，提取人脸轮廓部分的纹理边缘作为目标曲线V′；

步骤107，为偏离人脸轮廓部分的纹理边缘的点提供锚点P_A′，通过非刚性最近点配准法将关键点配准到目标曲线V′上，重复提供锚点P_A′和将关键点配准到目标曲线V上的步骤，直至得到人脸轮廓部分满意的标注结果。