[发明专利]一种基于识别面部遮挡的图像自动合成方法

说明书

技术领域

本发明涉及图像合成领域，尤其是涉及了一种基于识别面部遮挡的图像自动合成方法。

背景技术

面部的检测和识别是人工智能领域的一个重要研究方向，它不但在社会生活的各个应用中具有普遍意义，而且在计算机的情感计算方面也起着有重要作用。在以前的面部识别技术中，面部遮挡常被认为影响面部识别的因素，但是人们渐渐发现，某些遮挡，如手部对面部的遮挡，也可以作为识别人类情感状态的附加提示，比如害羞、尴尬、难过、惊讶等情绪。通过合成手部对面部的遮挡的图像，可以应用在虚拟动画场景、移动设备的图像编辑、人类微动作和微表情的研究以及动画教学等领域。传统的图像合成方法的数据收集过程复杂，计算成本也比较大，而且合成后的图像质量不佳、效果不够自然。

本发明提出了一种基于识别面部遮挡的图像自动合成方法，先获取并分割初始遮挡物形成合成数据集，然后对获取的数据进行质量评估，先对无遮挡的面部图像从初始遮挡物组中检索合适的遮挡物，根据面部匹配姿势和方向、面部大小重新缩放遮挡物、匹配面部和遮挡物的颜色、改善照明条件和质量，接着对面部区域进行编码，最后将遮挡物放置在面部的不同区域，合成遮挡的面部图像。本发明对于面部遮挡的识别更加准确，简化了计算过程，节约了计算成本；合成后的图像更加自然，图像质量也有所提高。

发明内容

针对用户编辑图像不方便的问题，本发明的目的在于提供一种基于识别面部遮挡的图像自动合成方法，先获取并分割初始遮挡物形成合成数据集，然后对获取的数据进行质量评估，先对无遮挡的面部图像从初始遮挡物组中检索合适的遮挡物，根据面部匹配姿势和方向、面部大小重新缩放遮挡物、匹配面部和遮挡物的颜色、改善照明条件和质量，接着对面部区域进行编码，最后将遮挡物放置在面部的不同区域，合成遮挡的面部图像。

为解决上述问题，本发明提供一种基于识别面部遮挡的图像自动合成方法，其主要内容包括：

(一)获取并分割初始遮挡物；

(二)匹配面部与遮挡物；

(三)面部区域编码；

(四)合成自然面部遮挡。

其中，所述的面部遮挡，面部遮挡被认为影响面部识别的因素，但是手部对面部的遮挡也可以作为识别人类情感状态的附加提示；合成手部对面部的遮挡的图像，可以应用在虚拟动画场景、移动设备的图像编辑等领域。

其中，所述的获取并分割初始遮挡物，获取的遮挡物包括手部、眼镜、头发、帽子和围巾等，使其更加多样化和接近现实世界的合成数据集；然后对获取的数据进行质量评估，由于获得清楚的遮挡物对于合成算法的后续阶段的成功非常必要，所以使用交互式迭代分割算法，从原始图像中分割手部遮挡物。

其中，所述的匹配面部与遮挡物，对于数据库中的每个无遮挡的面部，先从初始遮挡物组中检索合适的遮挡物，根据面部匹配姿势和方向、面部大小重新缩放遮挡物、匹配面部和遮挡物的颜色、改善照明条件和质量，最后将遮挡物置于面部的选定区域。

进一步地，所述的匹配姿势和方向，某些手势只能在面部某些方向发生，因此在合成面部手势之前，将已经与遮挡物分割的原始面部的方向与旋转、移动和翻转后的遮挡物相匹配；根据姿势从数据库中检索顶部匹配的面部，并从前十个匹配的图像中随机选择一个目标人脸图像。

进一步地，所述的根据面部大小重新缩放遮挡物，面部遮挡自然合成的最重要因素之一是比例，因此需要根据面部尺寸重新缩放遮挡物，由此产生自然的合成图像。

进一步地，所述的改善照明条件，手部和面部在颜色和照明方面需要相匹配，这个步骤的目的是使遮挡的手部适应面部图像的外观和感觉；先计算出面部图像的每个通道的平均值和标准偏差，并对遮挡物图像施加相同的平均值和标准偏差；这个步骤将面部的外观特征转移到手部遮挡物，并产生自然的合成结果。

进一步地，所述的改善图像质量，图像自然度的因素之一是匹配目标面部和手部遮挡物的图像质量；理想情况下它们应该精确匹配；为了确保这个标准得到满足，需要检查面部和手部遮挡物的清晰度，然后限制面部和遮挡具有相同的锐度。

其中，所述的面部区域编码，为了合成遮挡的面部，需要知道将要遮挡物将要放置的面部区域的位置；因此把面部分成11个区域，分别是主要的面部部分，包括左右边缘、左右脸颊、左右眼、左右眉毛、鼻子、嘴巴和下巴；这些区域可以根据作为框架输入的面部标志进行编码；在产生遮挡面部时，将高斯噪声添加到这些区域可以实现更强的鲁棒性。

其中，所述的合成自然面部遮挡，在获得遮挡物并在比例、颜色和方向上匹配它们后，合成了遮挡的面部图像，将遮挡物放置在面部的不同区域。

附图说明