[发明专利]一种生成器、生成器训练方法及避免图像坐标粘连方法

说明书

本申请提供一种基于门控网络的生成器、生成器训练方法和避免图像坐标粘连方法。所述生成器通过图像输入层将待处理图像处理为图像序列，并将图像序列输入至特征编码层，由多层特征编码层使用门控卷积网络对图像序列进行编码，得到图像编码。并由多层图像解码层使用逆门控卷积单元对图像编码进行解码处理，得到目标图像序列，最后由图像输出层将目标图像序列进行拼接处理，以得到的目标图像。待处理图像在经过上述门控卷积网络和逆门控卷积网络的处理后，所得到的目标图像中的人物特征更加明显，使所生成数字人的面部图像细节更加生动，解决现有生成器通过生成对抗网络生成的数字人图像出现的图像坐标粘连问题，提高了用户体验。

技术领域

本申请涉及自然人机交互领域，尤其涉及一种生成器、生成器训练方法及避免图像坐标粘连方法。

背景技术

在2D数字人方向，基本都是以生成对抗网络来生成数字人视频，其采用的网络如StyleGAN，CycleGAN等。生成对抗网络由生成器和判别器两部分构成，通过生成器与判别器的对抗训练，以得到理想的模型效果。

但是StyleGAN3网络对生成图片坐标粘连问题进行分析后发现，坐标粘连的问题源自于通用的生成器网络架构所采用的是卷积+非线性+上采样等结构，而这样的结构没有做到很好的等变性。

为了解决上述问题，生成器通常会采用StyleGAN3网络。StyleGAN3网络在StyleGAN2的生成器网络结构做了较大的调整。虽然StyleGAN3已经声称解决了该问题，但在实践中，StyleGAN3的模型过于复杂，且需要大量的人工干预，导致对于自动化要求较高的应用场景，StyleGAN3难以得到运用，无法高效的解决生成对抗网络在生成人脸视频时所出现的坐标粘连的技术问题。

发明内容

为了解决生成对抗网络在生成数字人的人脸视频时出现坐标粘连，导致数字人的面部器官、毛发等细节模糊，降低用户观看时的体验感的问题。

第一方面，本申请的一些实施例提出了一种基于门控网络的生成器，所述生成器包括：图像输入层、特征编码层、特征解码层和图像输出层，其中，

所述图像输入层被配置为将待处理图像处理为图像序列，并将所述图像序列输入至所述特征编码层；所述待处理图像中包括至少一个目标人物；

所述特征编码层被配置为使用门控卷积网络对所述图像序列进行编码处理，得到图像编码；

所述特征解码层被配置为使用逆门控卷积网络对所述图像编码进行解码处理，得到目标图像序列；

所述图像输出层被配置为将所述目标图像序列进行拼接处理，得到目标图像，并输出所述目标图像。

在本申请的一个实施例中，所述门控卷积网络包括特征过滤单元、膨胀卷积单元和归一化层，其中，

所述特征过滤单元被配置为将从所述图像序列中提取的图像特征进行过滤，得到过滤结果；

所述膨胀卷积单元被配置为按照膨胀参数对所述图像特征进行卷积处理，得到膨胀卷积结果；所述膨胀参数为膨胀卷积单元在进行卷积处理时，对每个图像特征对应的数值之间填充的空白数值数量；

所述归一化层被配置为将所述过滤结果与所述膨胀卷积结果的乘积进行归一化处理，得到归一化结果。

在本申请的一个实施例中，所述特征过滤单元包括2D卷积单元和激活函数；

所述2D卷积单元被配置为过滤所述图像特征中的深层次特征；

所述激活函数被配置在所述深层次特征中引入非线性属性，得到所述过滤结果。

在本申请的一个实施例中，所述待处理图像中包括至少一个目标人物执行说话动作；所述生成器还包括第一特征编码区、第二特征编码区和音频输入层，其中，