[发明专利]一种融合自注意力机制的生成对抗网络方法

权利要求书

1.一种融合自注意力机制的生成对抗网络方法，其特征在于：该方法包括以下步骤：

S1：对于评估生成器与判别器数据分布之间差异的标准进行了替换，使用Wasserstein距离对两者数据分布之间的差异进行评估；评估标准改用Wasserstein距离后，损失函数也进行改进，最终能够提高生成图像数据的多样性；

S2：在融合了自注意力机制的生成对抗网络在其生成器与判别器对应的神经网络架构中均引入自注意力机制；

S3：在融合了自注意力机制的生成对抗网络中，运行自注意力机制。

2.根据权利要求1所述的一种融合自注意力机制的生成对抗网络方法，其特征在于：所述步骤S2中，数据的训练过程包括4个阶段：

阶段1，使用Wasserstein距离评估生成器与判别器数据分布之间的差异，损失函数进行相应的改变，将训练集的图像数据分为若干批次，依次输入判别器中进行训练；

阶段2，一轮数据训练结束后，使用Adam优化方法依照损失函数值计算结果，生成器G的权重保持不变，进行判别器D的权重更新；

阶段3，采样若干随机噪音变量，依照损失函数进行生成器G中的权重更新；

阶段4，在生成器中G的权重θ趋于收敛之前，循环阶段1～阶段3的过程，训练结束后生成器与判别器达到稳态的纳什均衡，此时生成器具备生成高质量图像数据的能力。

3.根据权利要求1所述的一种融合自注意力机制的生成对抗网络方法，其特征在于：所述S3具体包括步骤：

S31：输入的特征图进行特征空间的转换，同一张特征图被分别转换至两个特定的映射空间中，同时保留原特征图；来自上一隐层的特征图x∈R^C×N首先被转换到两个特定的特征空间f与g中以计算注意力值，其中f(x)＝W_fx,g(x)＝W_gx；

S32：按照自注意力计算公式对转换特征空间后特征图的每一个像素点进行注意力值计算，最终结果进行加权求和得到一张对应的注意力特征图，计算公式如下：

且s_ij＝f(x_i)^Tg(x_j)，

且h(x_i)＝W_hx_i，

β_j,i值代表生成区域第j个区域时，模型对第i个区域的注意力程度，这一步骤得到的注意力特征图为o＝(o₁,o₂,o₃,...,o_N)∈R^C×N；

S33：将注意力特征图与原特征图累加得到自注意力特征图，y_i＝γo_i+x_i，其中y为自注意力层的最终输出，γ初始化为0；上述计算中，W_h∈R^C×C均为可学习的权重矩阵，通过1×1的卷积运算实现，其中