[发明专利]基于对抗解耦的个性化手写文字生成方法有效
| 申请号: | 202210392274.4 | 申请日: | 2022-04-15 |
| 公开(公告)号: | CN114495118B | 公开(公告)日: | 2022-08-09 |
| 发明(设计)人: | 黄双萍;王庆丰;代港 | 申请(专利权)人: | 华南理工大学;人工智能与数字经济广东省实验室(广州) |
| 主分类号: | G06V30/32 | 分类号: | G06V30/32;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06T11/20 |
| 代理公司: | 东莞卓诚专利代理事务所(普通合伙) 44754 | 代理人: | 朱鹏 |
| 地址: | 510000 广*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 对抗 个性化 手写 文字 生成 方法 | ||
本发明公开了基于对抗解耦的个性化手写文字生成方法,包括以下步骤:构建风格向量提取器和内容分类器;以所述的风格向量提取器为生成器,以所述的内容分类器为判别器,进行生成对抗学习;将手写文字图片输入学习后的风格向量提取器,获得手写风格向量;将待生成的目标文字通过内容嵌入层映射为内容向量;拼接所述的手写风格向量和所述的内容向量,然后在融合初始序列,获得解码向量;将所述的解码向量输入解码器进行解码,获得具有手写风格的目标文字的轨迹预测序列。本发明方法能够通过对抗解耦的方式,利用对抗网络帮助风格提取器消除风格向量中夹杂的内容信息,提取出干净的风格向量,进而提升个性化手写文字的生成效果。
技术领域
本发明涉及生成对抗神经网络技术领域,尤其涉及基于对抗解耦的个性化手写文字生成方法。
背景技术
手写文字是人们展示自我的信息载体,属于人的生物特征。手写文字具有商业应用价值,高效的手写文字生成方法可以大幅减少字体设计师的成本。同时,手写文字趣味性十足,能满足人们的个性化需求。
近年来,随着深度学习领域的发展,手写文字生成领域也得到了一定的发展。在字母型语言中,手写文字生成领域已经提出了较多方法,但是由于中文庞大的常用字典,以及汉字复杂的拓扑结构,中文的手写文字生成还未能达到非常好的效果。因此,如何能够有效地提高中文手写文字的生成效果,仍是待研究的问题。
现有的手写文字生成技术基本上都是基于风格提取的方法,即使用CNN网络单独对手写者的少量手写文字图片进行风格向量的提取,后续再对此向量做进一步的融合利用。但是仅仅用CNN网络提取风格向量并不能保证提取出的向量仅包含风格信息。提取出的风格信息中可能夹杂了部分内容信息,这会干扰后续对风格信息的利用。因此,如果能够消除其中的内容信息,提取出干净的风格信息,将会对后续的生成步骤带来很大的提升。
发明内容
有鉴于此,有必要针对上述技术问题,提供基于对抗解耦的个性化手写文字生成方法,所述方法通过书写者的少量手写文字图片,利用生成对抗网络帮助风格提取器对内容信息和风格信息进行对抗解耦,再将风格提取器提取出的干净的风格信息和输入的内容信息进行融合,送入解码器,最终生成目标文字更加精准的在线轨迹序列。
基于对抗解耦的个性化手写文字生成方法,包括以下步骤:
步骤1,构建风格向量提取器和内容分类器;
步骤2,以所述的风格向量提取器为生成器,以所述的内容分类器为判别器,进行生成对抗学习;
步骤3,将手写文字图片输入学习后的风格向量提取器,获得手写风格向量;
步骤4,将待生成的目标文字通过内容嵌入层映射为内容向量;
步骤5,拼接所述的手写风格向量和所述的内容向量,然后再融合初始序列,获得解码向量,即,其中代表在第二维上拼接,初始序列为:在训练时为手写文字图片对应的真实轨迹序列,在测试时为解码器预测的轨迹序列;
步骤6,将所述的解码向量输入解码器进行解码,获得具有手写风格的目标文字的轨迹预测序列。
具体地,步骤2中所述的对抗学习的过程为:
交叉多轮训练判别器和生成器;每轮训练过程中,判别器的训练频次大于生成器的训练频次;训练判别器的时候仅更新判别器的参数,训练生成器的时候更新除判别器以外的模型的参数。
优选地,步骤2中所述的对抗学习的过程中,所述的生成器的损失函数为:
其中,表示坐标损失函数,表示坐标损失函数,表示状态损失函数,表示判别器损失函数,表示判别器损失函数的权重;
所述的坐标损失函数的计算公式为:
其中,表示文字对应的轨迹序列的真实x坐标,表示解码器预测轨迹序列的x坐标,n表示序列点长度;
所述的坐标损失函数的计算公式为:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南理工大学;人工智能与数字经济广东省实验室(广州),未经华南理工大学;人工智能与数字经济广东省实验室(广州)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210392274.4/2.html,转载请声明来源钻瓜专利网。





