[发明专利]基于关联注意力的少样本文字风格迁移方法

权利要求书

1.基于关联注意力的少样本文字风格迁移方法，其特征在于，包括以下步骤：

步骤1、构建训练数据集和测试数据集；所述训练数据集包括内容参考集、风格参考集；

步骤2、构建基于关联注意力的生成对抗网络，所述生成对抗网络包括生成器网路、鉴别器网络；

步骤3、设置损失函数；

步骤4、利用步骤3构建的损失函数训练所述生成对抗网络；

步骤5、利用测试数据集测试训练完的生成器网络，完成少样本文字风格迁移。

2.根据权利要求1所述的基于关联注意力的少样本文字风格迁移方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1、构建生成器模块，生成器网络包括内容特征提取模块、风格特征提取模块及解码模块；

步骤2.2、构建鉴别器网络，鉴别器包括内容鉴别器和风格鉴别器。

3.根据权利要求2所述的基于关联注意力的少样本文字风格迁移方法，其特征在于，所述内容特征提取模块用于将输入的源字体图像c压缩为内容特征向量f_c：

f_c＝E_c(c) (1)。

4.根据权利要求3所述的基于关联注意力的少样本文字风格迁移方法，其特征在于，所述风格特征提取模块包括5个卷积块、关联注意力模块，所述关联注意力模块包括上下文感知注意力模块和相似性特征注意力模块；所述风格特征提取模块的操作具体为：

a.先将风格参考集按照通道维度拼接后经过第一、二、三层卷积层得到特征图v₁，再经过第四层卷积层、第五层卷积层分别得到特征图v₂、v₃；

b.将特征图v₁、v₂、v₃分别输入到上下文感知注意力模块得到具有上下文信息、局部以及全局信息的风格变量f_s1；

c.将所述特征图v₁、内容特征向量f_c输入到相似性特征注意力模块，输出整合所有局部风格信息的风格特征f_s2；

d.最后，f_s1和f_s2相加融合得到最终的风格特征f_s：

f_s＝f_s1+f_s2 (11)。

5.根据权利要求4所述的基于关联注意力的少样本文字风格迁移方法，其特征在于，上下文感知注意力模块的操作具体为：

b1.首先通过自注意力层整合特征图{v_r}_r＝1：3上下文信息，得到特征向量h_r：

h_r＝f_a(v_r) (2)；

上式中，f_a表示自注意力层；

b2.然后使用注意力机制给所述每个特征向量h_r的区域打分，得到注意力分数a_r；

b3.接着将所述注意力分数匹配到对应特征图v_r上，得到三个具有上下文信息的特征向量{f_r}_r＝1：3：

f_r＝v_ra_r (5)；

b4.最后通过层级注意力网络为所述特征向量{f_r}_r＝1：3打分，得到隐变量z，进而得到风格特征f_s1。