[发明专利]一种联合流形约束和FB-GAN的人脸变形方法和系统

说明书

本发明提供了一种联合流形约束和FB‑GAN的人脸变形方法和系统，通过使用生成对抗神经网络设计出端到端的人脸图像拼接对抗网络FB‑GAN，实现了在人脸变形过程中生成高分辨率的人脸图像的功能。本发明通过人脸变形算法生成高分辨率的人脸图像，解决了传统变形中人脸嘴巴从闭合到张开所导致的嘴巴“扭曲”或“空洞”问题。本发明解决了人脸拼接问题中的颜色差异较大而导致的拼接效果较差的问题，提高了人脸生成图像的真实性。

技术领域

本发明属于人脸图像变形技术领域，具体涉及一种联合流形约束和FB-GAN的人脸变形方法和系统。

背景技术

图像变形的目标是将目标变形成为所需要的形状和姿态，通常是基于一组用户控制的不同手柄来实现，其中控制手柄一般包括点、线或者是多边形网格。Scheafer等人提出了一种基于特征点构建的移动最小二乘(Moving Least Squares，MLS)的刚性图像变形算法，该算法通过线性函数(如刚性变换)构建变形函数，基于MLS的刚性变形算法使得变形“尽可能地刚性”，能较好的保持目标的全局形态和局部细节。该算法能较好的适用于刚性物体变形(如改变人体运动姿态)，但是针对连贯运动地非刚性目标(如舞动的烛火、呼吸的肺部等)，“尽可能地刚性”地变形原则表现出局限性。由于径向基函数构造的空间具有较强的逼近能力，它不仅可以近似由各向异性问题产生的函数，而且表示形式和计算也相对简单。其中高斯函数和薄板样条函数是图像变形算法中估计空间变形函数的常用选择。Ma等人提出了一种基于移动正则最小二乘的数学模型，利用高斯核函数构建再生核希尔伯特空间并在其中定义变形函数，实现矢量场插值，从而得到真实、平滑的图像变形模型。Zhou等人利用薄板样条核函数在移动正则化最小二乘估计模型下估算变形向量场，该算法是目前较为先进的非刚性图像变形算法之一。本发明提出基于特征点引导的移动流形正则最小二乘模型(M²RLS-TPS-FG)，同时考虑图像中的特征控制点和变形控制点，通过流行正则项确保变形过程总能更好的保持源图像中的细节。

以上的变形算法适用于对图像中现存的部分进行所需的变形，但是不适用于无中生有变形。例如，在人脸变形过程中，正常情况下的人脸中嘴巴闭合，当嘴部张开时应生成牙齿，但是现有的图像变形算法无法实现牙齿的从无到有。

图像拼接是指裁剪源图像(通常是对象)的某个区域，并将其放置在目标图像的指定位置，目标是将拼接合成图像转换为与目标图像具备空间一致性和颜色一致性的图像，使其尽可能的自然。

Alpha blending是根据给定的Alpha融合向量值来融合源图像和目标图像的像素值。该方法首先将源图像像素和目标图像根据RGB颜色通道分解为三个分量，之后将源图像和目标图像的三个颜色分量分别与Alpha值和负Alpha值相乘，将该结果按对应颜色分量相加再除以Alpha的最大值，便可得到一张融合图像。虽然，Alpha融合比直接复制粘贴的效果要好很多，但是源图像和目标图像的内容都存在于同一区域而导致产生重影效果。

人类的视觉系统对图像的边缘等梯度突变的区域非常敏感，基于此，大量工作在梯度域中实现图像融合，使得融合图像中产生平滑过渡的边界。最早的工作Possion imageediting提出通过约束源图像和目标图像的梯度一致性来重建目标图像中融合区域的像素，该方法是传统拼接融合中最流行的图像拼接融合方法，首先根据合成图像的梯度生成梯度矢量场，然后通过泊松方程从梯度矢量场中的信息计算重建拼接区域中的各个像素，使得拼接区域的边界处有较小的梯度差。但是这种方法生成的图像往往会包含各种伪影而显得不真实，而且传统的基于梯度的算法通常是基于人的先验知识。

发明内容

本发明要解决的技术问题是：提供一种联合流形约束和FB-GAN的人脸变形方法和系统，用于在人脸变形过程中生成高分辨率的人脸图像。

本发明为解决上述技术问题所采取的技术方案为：一种联合流形约束和FB-GAN的人脸变形方法，包括以下步骤：