[发明专利]一种生成器、生成器训练方法及避免图像坐标粘连方法

权利要求书

1.一种基于门控网络的生成器，其特征在于，所述生成器包括：图像输入层、特征编码层、特征解码层和图像输出层，其中，

所述图像输入层被配置为将待处理图像处理为图像序列，并将所述图像序列输入至所述特征编码层；所述待处理图像中包括至少一个目标人物；

所述特征编码层被配置为使用门控卷积网络对所述图像序列进行编码处理，得到图像编码；其中，所述门控卷积网络包括特征过滤单元、膨胀卷积单元和归一化层，所述特征过滤单元被配置为将从所述图像序列中提取的图像特征进行过滤，得到过滤结果；

所述膨胀卷积单元被配置为按照膨胀参数对所述图像特征进行卷积处理，得到膨胀卷积结果；所述膨胀参数为膨胀卷积单元在进行卷积处理时，对每个图像特征对应的数值之间填充的空白数值数量；

所述归一化层被配置为将所述过滤结果与所述膨胀卷积结果的乘积进行归一化处理，得到归一化结果；

所述特征解码层被配置为使用逆门控卷积网络对所述图像编码进行解码处理，得到目标图像序列；

所述图像输出层被配置为将所述目标图像序列进行拼接处理，得到目标图像，并输出所述目标图像。

2.根据权利要求1所述的基于门控网络的生成器，其特征在于，所述特征过滤单元包括2D卷积单元和激活函数；

所述2D卷积单元被配置为过滤所述图像特征中的深层次特征；

所述激活函数被配置在所述深层次特征中引入非线性属性，得到所述过滤结果。

3.根据权利要求1所述的基于门控网络的生成器，其特征在于，所述待处理图像中包括至少一个目标人物执行说话动作；所述生成器还包括第一特征编码区、第二特征编码区和音频输入层，其中，

所述第一特征编码区和第二特征编码区分别包括预设数量的所述特征编码层；

所述音频输入层被配置为提取待处理音频的音频特征序列，并将所述音频特征序列输入至所述第二特征编码区；其中，所述待处理音频为所述待处理图像中目标人物执行所述说话动作的音频；

所述第一特征编码区被配置为使用门控卷积网络对所述图像序列进行预设数量次的编码处理；

所述第二特征编码区被配置为按照时间序列合并所述音频特征序列和经过所述第一特征编码区编码处理后的所述图像序列，得到图音序列；并使用门控卷积网络对所述图音序列进行编码处理，得到样本图音编码。

4.根据权利要求1所述的基于门控网络的生成器，其特征在于，所述逆门控卷积网络包括：差值采样单元和门控卷积单元；

所述差值采样单元被配置为根据差值方法对所述图像编码中的数组进行上采样操作以及下采样操作，得到采样数据；

所述门控卷积单元被配置为输出所述采样数据。

5.一种生成器的训练方法，用于训练权利要求1-4中任意一项所述的基于门控网络的生成器，其特征在于，所述方法包括:

从样本视频中提取样本图像；所述样本视频为预设人物按照预设话术说话的视频；所述样本图像为所述样本视频中至少一帧所对应的图像；

对所述样本图像进行预处理，得到样本图像序列；

将所述样本图像序列输入至未训练的生成器中，使用门控卷积网络进行编码处理，得到样本图像编码；

使用逆门控卷积网络对所述样本图像编码进行解码处理，得到训练图像序列；

对所述训练图像序列进行拼接处理，得到训练图像；

根据损失函数计算所述样本图像与所述训练图像之间的图像偏差，如果所述图像偏差小于偏差阈值，得到训练好的生成器。

6.根据权利要求5所述的生成器的训练方法，其特征在于，所述根据损失函数计算所述样本图像与所述训练图像之间的图像偏差的步骤包括：

获取所述样本图像的预测标签；

获取所述训练图像的实际标签；

计算所述实际标签与所述预测标签的偏差；

根据所述偏差，通过自适应矩估计算法更新所述生成器的参数。