[发明专利]基于输入输出互注意力和隐层自注意力的StyleGAN图像重构方法

权利要求书

1.一种基于输入输出互注意力和隐层自注意力的StyleGAN图像重构方法，其特征在于，该方法包括以下具体步骤：

步骤1：用编码器将输入图像映射为特征，通过构建隐层自注意力与输入互注意力模块从特征中提取信息，得到隐层码字；

步骤2：通过构建输出互注意力模块从隐层码字中提取信息，得到风格码字，将输出的风格码字送入预训练的StyleGAN生成器，得到重构图像；

步骤3：将编码器、隐层自注意力与输入互注意力模块和输出互注意力模块组合成一个编码网络，固定StyleGAN生成器，训练编码网络，实现图像重构质量的提升。

2.根据权利要求1所述的图像重构方法，其特征在于，所述隐层自注意力与输入互注意力模块，由若干隐层自注意力模块与若干输入互注意力模块交叉串联构成；隐层自注意力模块由自注意力模块构成，通过隐层码字的自我提炼更新隐层码字；输入互注意力模块由交叉注意力模块构成，用编码器提取的输入图像特征更新初始隐层码字。

3.根据权利要求1所述的图像重构方法，其特征在于，步骤2所述构建输出互注意力模块从隐层码字中提取信息，得到风格码字，具体包括：

步骤2-1：输出互注意力模块，由交叉注意力模块构成；

步骤2-2：将隐层自注意力与输入互注意力模块输出的隐层码字L作为键值Key与数值Value两种输入，输入到输出互注意力模块，其维度大小为B×M×C，B是输入数据批量大小，M是隐层码字数目，C是特征维度大小；

步骤2-3：随机初始化风格码字，其维度大小为B×N×C，将其输入StyleGAN的风格映射网络，并作为可学习参数，得到参数化的初始风格码字；将参数化的初始风格码字作为查询值Query输入，其维度大小为B×N×C，B和C与步骤2-2相同，N是风格码字数目；

步骤2-4：按照下述公式(1)，用Query与Key的转置计算交叉相似度矩阵S，其维度大小为B×N×M；

S＝softmax(Query×Key^T)         (1)

步骤2-5：按照下述公式(2)，将S与Value相乘后经过残差连接、归一化与前馈层，得到更新后的风格码字W，其维度大小为B×N×C；

W＝FFN(Norm(Residual(S×Value)))     (2)。

4.根据权利要求1所述的图像重构方法，其特征在于，所述隐层码字数目不等同于StyleGAN网络指定的风格码字数目，而是风格码字数目的倍数，能够进一步提取图像信息。