[发明专利]翻译模型训练的方法、语句翻译的方法、设备及存储介质有效
申请号: | 201810445783.2 | 申请日: | 2018-05-10 |
公开(公告)号: | CN110472251B | 公开(公告)日: | 2023-05-30 |
发明(设计)人: | 程勇;涂兆鹏;孟凡东;翟俊杰;刘洋 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F40/30 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 翻译 模型 训练 方法 语句 设备 存储 介质 | ||
本申请公开了一种翻译模型训练的方法,包括:获取训练样本集合,训练样本集合中包括多个训练样本;确定训练样本集合中每个训练样本各自对应的扰动样本集合,扰动样本集合包括至少一个扰动样本,扰动样本与对应训练样本的语义相似度高于第一预设值;使用多个训练样本和每个训练样本各自对应的扰动样本集合训练初始翻译模型,以得到目标翻译模型。本申请实施例提供的方案在模型训练是引入了扰动样本,所以可以提高机器翻译的鲁棒性,以及翻译质量。
技术领域
本申请涉及计算机技术领域,具体涉及一种翻译模型训练的方法、语句翻译的方法、计算机设备、终端设备及计算机可读存储介质。
背景技术
随着人工智能的发展,机器翻译已经被广泛使用,如同声传译和聊天内容翻译等,都是基于机器翻译将一种输入语言转换为另一种语言输出。
神经机器翻译是一种完全基于神经网络的机器翻译模型,其在诸多语言对上已经达到了很好的翻译水平,已被广泛的应用在各种机器翻译产品中。然而,由于神经机器翻译模型基于一个完整的神经网络,其建模的全局性导致目标端的每个输出依赖于源端输入的每个词,使得对于输入中的微小扰动过度敏感。例如,在中文到英文得翻译中,用户输入“他们不怕困难做出围棋AI”,机器翻译模型给出的英文翻译为“They are not afraid ofdifficulties to make Go AI”,然而,当用户输入一个相似的语句“他们不畏困难做出围棋AI”,机器翻译的输出发生了剧烈改变,结果为“They are not afraid to make Go AI”,尽管用户只是用近义词替换了其中一个词,但其翻译结果却发生了剧烈变化。
由此可见,目前的神经机器翻译的稳定性,也就是鲁棒性比较差。
发明内容
本申请实施例提供一种翻译模型训练的方法,可以提高机器翻译的鲁棒性,以及翻译质量。本申请实施例还提供了相应的语句翻译的方法、计算机设备、终端设备以及计算机可读存储介质。
本申请第一方面提供一种翻译模型训练的方法,包括:
获取训练样本集合,所述训练样本集合中包括多个训练样本;
确定所述训练样本集合中每个训练样本各自对应的扰动样本集合,所述扰动样本集合包括至少一个扰动样本,所述扰动样本与对应训练样本的语义相似度高于第一预设值;
使用所述多个训练样本和所述每个训练样本各自对应的扰动样本集合训练初始翻译模型,以得到目标翻译模型。
本申请第二方面提供一种语句翻译的方法,包括:
接收以第一语言表达的第一待翻译语句;
使用目标翻译模型对所述第一待翻译语句进行翻译,以得到用第二语言表达的翻译结果语句,其中所述目标翻译模型为使用多个训练样本和所述多个训练样本中每个训练样本各自对应的扰动样本集合训练得到的,所述扰动样本集合包括至少一个扰动样本,所述扰动样本与对应训练样本的语义相似度高于第一预设值;
输出所述用第二语言表达的翻译结果语句。
本申请第三方面提供一种翻译模型训练的装置,包括:
获取单元,用于获取训练样本集合,所述训练样本集合中包括多个训练样本;
确定单元,用于确定所述获取单元获取的所述训练样本集合中每个训练样本各自对应的扰动样本集合,所述扰动样本集合包括至少一个扰动样本,所述扰动样本与对应训练样本的语义相似度高于第一预设值;
模型训练单元,用于使用所述获取单元获得的所述多个训练样本和所述确定单元确定的所述每个训练样本各自对应的扰动样本集合训练初始翻译模型,以得到目标翻译模型。
本申请第四方面提供一种语句翻译的装置,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810445783.2/2.html,转载请声明来源钻瓜专利网。