[发明专利]一种基于识别面部遮挡的图像自动合成方法

权利要求书

1.一种基于识别面部遮挡的图像自动合成方法，其特征在于，主要包括获取并分割初始遮挡物(一)；匹配面部与遮挡物(二)；面部区域编码(三)；合成自然面部遮挡(四)。

2.基于权利要求书1所述的面部遮挡，其特征在于，面部遮挡被认为影响面部识别的因素，但是手部对面部的遮挡也可以作为识别人类情感状态的附加提示；合成手部对面部的遮挡的图像，可以应用在虚拟动画场景、移动设备的图像编辑等领域。

3.基于权利要求书1所述的获取并分割初始遮挡物(一)，其特征在于，获取的遮挡物包括手部、眼镜、头发、帽子和围巾等，使其更加多样化和接近现实世界的合成数据集；然后对获取的数据进行质量评估，由于获得清楚的遮挡物对于合成算法的后续阶段的成功非常必要，所以使用交互式迭代分割算法，从原始图像中分割手部遮挡物。

4.基于权利要求书1所述的匹配面部与遮挡物(二)，其特征在于，对于数据库中的每个无遮挡的面部，先从初始遮挡物组中检索合适的遮挡物，根据面部匹配姿势和方向、面部大小重新缩放遮挡物、匹配面部和遮挡物的颜色、改善照明条件和质量，最后将遮挡物置于面部的选定区域。

5.基于权利要求书4所述的匹配姿势和方向，其特征在于，某些手势只能在面部某些方向发生，因此在合成面部手势之前，将已经与遮挡物分割的原始面部的方向与旋转、移动和翻转后的遮挡物相匹配；根据姿势从数据库中检索顶部匹配的面部，并从前十个匹配的图像中随机选择一个目标人脸图像。

6.基于权利要求书4所述的根据面部大小重新缩放遮挡物，其特征在于，面部遮挡自然合成的最重要因素之一是比例，因此需要根据面部尺寸重新缩放遮挡物，由此产生自然的合成图像。

7.基于权利要求书4所述的改善照明条件，其特征在于，手部和面部在颜色和照明方面需要相匹配，这个步骤的目的是使遮挡的手部适应面部图像的外观和感觉；先计算出面部图像的每个通道的平均值和标准偏差，并对遮挡物图像施加相同的平均值和标准偏差；这个步骤将面部的外观特征转移到手部遮挡物，并产生自然的合成结果。

8.基于权利要求书4所述的改善图像质量，其特征在于，图像自然度的因素之一是匹配目标面部和手部遮挡物的图像质量；理想情况下它们应该精确匹配；为了确保这个标准得到满足，需要检查面部和手部遮挡物的清晰度，然后限制面部和遮挡具有相同的锐度。

9.基于权利要求书1所述的面部区域编码(三)，其特征在于，为了合成遮挡的面部，需要知道将要遮挡物将要放置的面部区域的位置；因此把面部分成11个区域，分别是主要的面部部分，包括左右边缘、左右脸颊、左右眼、左右眉毛、鼻子、嘴巴和下巴；这些区域可以根据作为框架输入的面部标志进行编码；在产生遮挡面部时，将高斯噪声添加到这些区域可以实现更强的鲁棒性。

10.基于权利要求书1所述的合成自然面部遮挡(四)，其特征在于，在获得遮挡物并在比例、颜色和方向上匹配它们后，合成了遮挡的面部图像，将遮挡物放置在面部的不同区域。