[发明专利]一种风格字符生成的方法

权利要求书

1.一种风格字符生成的方法，其特征在于：以若干种风格字符组成的参考字符数据集，以及任意挑选的一组风格字符的全集作为标准集，使用基于深度特征相似性融合生成对抗网络生成风格字符的方法；该方法能够根据任意个来自同一风格的参考字符，和一个标准集中的字符，生成一新的字符，其中生成字符的风格与参考字符一致，其内容与给定的标准集中的字符一致；

所述基于深度特征相似性生成对抗网络由判别器D和生成器G两部分组成；其中生成器G部分由内容提取器E_c，风格特征提取器E_s，风格融合器M_f和逆向生成网络D_r四个部分组成；

所述判别器D，输入数据为来自真实的目标文字TC或生成的目标文字GC,输出为样本来自真实分布的概率，若样本为TC则输出为1，若样本为GC则输出为0；判别器的网络结构由三个卷积块组成，每个卷积块包括卷积层、批归一化、激活函数和下采样，其中网络的最后一层输出为Softmax概率；

所述内容提取器E_c，输入数据为来自标准集中的目标字符的内容CT，输出为指定CT的深层内容特征f_c，该提取器的网络结构由三个卷积块和六个ResNet块Block组成，每个卷积块包括卷积层、批归一化、激活函数和下采样；

所述风格特征提取器E_s，输入数据为给定风格的参考字符RC，来自标准集中的目标字符的内容CT，以及来自标准集中的给定风格的参考字符对应的内容字符CR，输出给相应输入字符的深层风格特征f_s；该提取器的网络结构与内容提取器的网络结构一致，也是由三个卷积块和六个ResNet块组成，每个卷积块包括卷积层、批归一化、激活函数和下采样；

所述风格融合器M_f由三个部分组成，分别为目标字符与给定参考风格特征相似性矩阵计算模块，目标字符风格信息生成模块，以及目标文字深度特征融合模块；风格融合器的输入为目标字符对应标准字符CT的内容特征f_c，目标字符对应标准字符CT的风格特征f_{s_c}，参考字符RC_i的风格特征f_{s_rci}以及参考字符RC_i对应的标准字符CR_i的风格特征f_{s_cri}，输出为目标字符的深度特征f_t；其中目标字符与给定字符风格特征相似性矩阵计算模块的输入为目标字符对应标准字符CT的风格特征f_{s_c}，参考字符RC_i对应的标准字符CR_i的风格特征f_{s_cri}输入为f_{s_c}与f_{s_cri}的相似性矩阵SM；目标字符风格信息生成模块的输入为相似性矩阵SM以及参考字符RC_i的风格特征f_{s_rci}，输出为目标字符的风格特征f_s；目标文字深度特征融合模块的输入为目标字符的风格特征f_s以及目标字符对应标准字符CT的内容特征f_c，输出为目标字符的深度特征f_t；

所述逆向生成网络的D_r的输入为目标字符的深度特征f_t，输出为目标字符GC，其中GC具有CT的内容，以及与参考字符RC相一致的风格，即无论内容还是风格都与TC一致；逆向生成网络由逆卷积层和批归一化组成，除最后一层采用Sigmoid激活外，其余层仅采用上采样；

上述描述中CT，CR，RC，TC均为H*W*C的RGB图像，其中H表示图片的高，W表示图片的宽，C为图像的通道数；i表示给定参考字符的索引值；

该方法包括如下步骤：

步骤一，将数据集划分为训练集，验证集和测试集，随机挑选一组风格的字符作为标准集，并对基于深度特征相似性生成对抗网络进行随机初始化；

步骤二，在训练集中进行任务的采样，每一组风格中的参考字符采用随机采样的方法，将任务描述为一个四元组(RC_i，CR_i，CT，TC)，其中i＝1，2…K,K表示给定风格字符的个数；其中RC_i表示第i个给定的参考字符，CR_i表示第i个给定参考字符对应的标准内容字符，CT表示目标字符对应的标准内容字符，TC表示要生成的目标字符本身；

步骤三：将RC_i，CR_i，CT输入风格特征提取器E_s中，分别得到对应字符的深度风格特征f_{s_rci}，f_{s_cri}和f_{s_c}，同时将CT输入内容提取器E_c中，得到对应文字的深度内容特征f_c；

步骤四：将f_{s_cri}和f_{s_c}输入风格融合器M_f的目标字符与给定参考风格特征相似性矩阵计算模块计算两者之间的深度特征相似性矩阵SM；

步骤五：将f_{s_rci}与SM输入风格融合器M_f的目标字符风格信息生成模块，得到目标字符的风格特征f_s；

步骤六：将f_s与f_c输入征融合器M_f的目标文字深度特征融合模块，得到目标字符的融合深度特征f_t；

步骤七：将目标文字的融合深度特征f_t输入逆向生成网络的D_r，得到最终的生成文字GC；

步骤八：通过GC和TC，计算其损失，并通过反向传播，采用随机梯度下降法更新网络G和D的参数；

步骤九：通过验证集中采样到的任务(RC_i，CR_i，CT，TC)验证网络，若达到停止条件，则停止训练，否则返回步骤二；

步骤十：在应用时，GC＝G(RC_i，CR_i，CT)。