[发明专利]一种翻译模型训练方法、文本翻译方法及相关装置有效
申请号: | 201910595220.6 | 申请日: | 2019-07-03 |
公开(公告)号: | CN110298046B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 章杰;宋锐;张为泰;刘俊华;王智国 | 申请(专利权)人: | 科大讯飞股份有限公司 |
主分类号: | G06F40/47 | 分类号: | G06F40/47 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 张小娜 |
地址: | 230088 安徽*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 翻译 模型 训练 方法 文本 相关 装置 | ||
1.一种翻译模型训练方法,其特征在于,包括:
将至少一个样本文本输入双向翻译模型,所述至少一个样本文本包括双向翻译方向中的至少一个语种类型下的文本数据;
获取所述双向翻译模型的输出结果,所述输出结果包括每一样本文本的预测翻译文本以及每一样本文本对应的预测词袋,所述预测词袋是朝着对应样本文本的实际词袋的方向预测得到的,所述实际词袋包括对应样本文本的实际翻译文本中的各个不同词;
根据所述输出结果对所述双向翻译模型进行参数更新,以完成本轮训练;
其中,所述获取所述双向翻译模型的输出结果,包括:
对于每一样本文本,利用所述双向翻译模型,生成所述样本文本的预测翻译文本,并且,根据所述双向翻译模型的解码层输出的对应于所述样本文本的各个隐状态表示结果,生成所述样本文本的预测词袋;
其中,所述根据所述双向翻译模型的解码层输出的对应于所述样本文本的各个隐状态表示结果,生成所述样本文本的预测词袋,包括:
将所述双向翻译模型的解码层输出的对应于所述样本文本的各个隐状态表示结果进行线性计算,得到线性计算结果;
根据所述线性计算结果,生成所述样本文本对应的预测词袋。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
收集所述双向翻译方向中的每一语种类型下的文本语料;
从所述每一语种类型下的文本语料中提取高频词,利用每一高频词以及该高频词的表示结果构成一个双语词典;
则,所述将至少一个样本文本输入双向翻译模型,包括:
确定所述至少一个样本文本中的属于所述双语词典的词,并将所确定的词的表示结果输入双向翻译模型。
3.根据权利要求1至2任一项所述的方法,其特征在于,所述根据所述输出结果对所述双向翻译模型进行参数更新,包括:
根据所述输出结果以及目标函数,对所述双向翻译模型进行参数更新;
其中,所述目标函数包括第一概率分布和第二概率分布;所述第一概率分布包括在已知所述样本文本的情况下、得到所述样本文本的预测翻译文本中的每个词的概率;所述第二概率分布包括在已知所述样本文本和所述样本文本对应的实际词袋的情况下、得到所述样本文本对应的预测词袋中的每个词的概率。
4.根据权利要求3所述的方法,其特征在于,所述根据所述输出结果以及目标函数,对所述双向翻译模型进行参数更新,包括:
对于每一样本文本,确定该样本文本的预测翻译文本与实际翻译文本之间的差异、以及该样本文本对应的预测词袋与实际词袋之间的差异;
根据确定的差异以及所述目标函数,对所述双向翻译模型的参数进行更新。
5.一种文本翻译方法,其特征在于,包括:
利用预先构建的双向翻译模型,对待翻译的目标文本进行翻译,得到所述目标文本的预测翻译文本;
其中,所述目标文本的语种类型为所述双向翻译模型支持的两个翻译方向上的任一语种类型,所述双向翻译模型为根据权利要求1至4任一项所述方法训练得到的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于科大讯飞股份有限公司,未经科大讯飞股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910595220.6/1.html,转载请声明来源钻瓜专利网。