[发明专利]自动生成文本的方法和装置在审
申请号: | 201810119213.4 | 申请日: | 2018-02-06 |
公开(公告)号: | CN108334497A | 公开(公告)日: | 2018-07-27 |
发明(设计)人: | 秦曾昌;万涛;王恒 | 申请(专利权)人: | 北京航空航天大学 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06N3/04;G06N3/08 |
代理公司: | 北京汇捷知识产权代理事务所(普通合伙) 11531 | 代理人: | 于鹏 |
地址: | 100191*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种自动生成文本的方法,包括以下步骤:数据获取;数据预处理;模型构建;损失定义;模型预训练;模型对抗训练模型验证。本发明结合循环神经网络和变分自编码器,以及加上对抗网络训练模式,使得生成的文本既避免了随着长度变长,文本质量变差的问题,也避免文本生成单一的问题。该方法应用了在自然语言处理领域常用的循环神经网络作为基础,在上面融合了变分自编码器,能够更好地学习到文本的分布。后期的效果提升,使用了生成对抗网络的思想,运用卷积神经网络作为判别器,使用了强化学习来进行训练,在全局上对模型进行训练,达到更好的效果。本发明还公开了一种自动生成文本的装置。 | ||
搜索关键词: | 文本 自动生成 循环神经网络 编码器 卷积神经网络 自然语言处理 方法和装置 数据预处理 对抗训练 模型构建 模型验证 强化学习 数据获取 网络训练 文本生成 判别器 对抗 变差 融合 全局 网络 学习 | ||
【主权项】:
1.一种自动生成文本的方法,其特征在于,所述方法包括:对获取的文本数据集基于构建模型的应用阶段进行划分;根据训练目标信息构造出带潜变量的生成对抗网络模型,并对所述生成对抗网络模型中的损失函数进行定义;对所述生成对抗网络模型进行预训练;使用预训练好的参数进行模型初始化,并对所述生成对抗网络模型进行对抗训练;通过对所述生成对抗网络模型进行对抗训练后获取训练完成的生成器中的大数据样本,计算生成的所述大数据样本与测试集之间的bleu分数。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京航空航天大学,未经北京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810119213.4/,转载请声明来源钻瓜专利网。