[发明专利]一种基于空间约束的人脸图像风格化方法

说明书

本发明公开了一种基于空间约束的人脸图像风格化方法，该方法包括如下步骤，首先，将输入的风格图像和原始图像进行归一化，通过特征编码器提取人脸的多层深度特征图，并通过人脸建模网络提取人脸空间特征点；然后，在深度特征图的每一层，利用人脸空间特征点的空间约束和普氏变换，执行特征块匹配方法，获得从风格图像到原始图像的映射；将映射后的风格图像与原始图像进行特征融合得到新的深度特征图，通过预先训练的特征解码器，最终获得风格化的原始图像。本发明属于计算机视觉领域，充分利用了人脸的空间对应关系，设计出快速的特征块匹配方法，能有效提升人脸图像风格化的速度和准确性。

技术领域

本发明属于计算机视觉与图像处理领域，尤其涉及一种基于空间约束的人脸图像风格化方法。

背景技术

人脸图像风格迁移是一种图像处理方法，对输入图像进行预处理、分析编码、特征融合和解码可以将给定的风格特征作用到原始人脸图像，从而得到风格化的人脸图像。以往的风格迁移方法需要耗费大量的计算资源用于在风格图像和参考图像之间求解数值优化问题，近年出现了一些快速风格迁移方法，这些方法多是基于大量的同类型风格图像进行长时间训练，提取出特定的风格模型再将其渲染在参考图像上，这种类型的方法只能对图像整体的颜色纹理特征进行无差别的迁移，不具备语义级别的风格迁移能力。到目前为止，能够实现快速、准确、语义级别的任意风格迁移方法还没有出现。

发明内容

发明目的：针对以上现有技术存在的问题，本发明提出一种基于空间约束的人脸图像风格化方法，该方法旨在基于图像中的人脸空间特征点对应关系，在语义信息的指导下逐步进行快速准确的特征匹配与融合，从而实现快速的人脸图像风格化。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于空间约束的人脸图像风格化方法，该方法包括以下步骤：

(1)对风格图像a、原始人脸图像b进行裁剪；

(2)通过神经网络提取风格图像a、原始人脸图像b的人脸多层深度特征图以及人脸空间特征点；

(3)根据神经网络最后一层的输出特征图，对人脸五官区域执行空间约束的特征块匹配；

(4)根据特征块匹配结果，计算从风格图像a到原始人脸图像b的局部映射矩阵；

(5)根据上述局部映射矩阵，将映射作用于整张图像；

(6)将映射后的风格特征图与原始人脸特征图像融合，并将融合后的特征图放大到上一层尺寸；

(7)返回上一层，迭代执行步骤(3)-(6)，得到风格化的人脸图像。

进一步的，步骤(1)中，输入的风格图像、原始人脸图像进行裁剪，方法如下：给定两张风格不同的人脸图像，选取其中一张为风格图像，另外一张为将要执行风格化的原始图像，对输入的风格图像和原始图像进行裁剪获得人脸矩形图像，而且图像宽度和高度范围为200-600像素之间。

进一步的，步骤(2)中，通过神经网络提取人脸的多层深度特征图以及人脸空间特征点，方法如下：

(2.1)删除VGG19模型最后三层全连接层，保存VGG19前五层，设计和构造了用于人脸特征编码网络；

(2.2)每层N中均包含卷积层、激活层、池化层，N＝1,2,3,4,5；

(2.2)卷积层中，采用3*3的卷积核对上一层的输出执行卷积操作，卷积层用于提取图像的局部特征以及放大图像维度，各个大层经过卷积层后，维度分别为32、64、128、256、512；

(2.3)激活层中，采用分段线性函数，将卷积层的输出归一化到指定范围内；

(2.4)池化层中，通过2*2的最大值滤波器，使得图像长宽减小到原来的一半，各个层经过池化层后，尺寸分别为原图的1/1、1/2、1/4、1/8、1/16；