[发明专利]机器翻译模型的训练方法、语言翻译方法及设备在审
申请号: | 202110356556.4 | 申请日: | 2021-04-01 |
公开(公告)号: | CN113705251A | 公开(公告)日: | 2021-11-26 |
发明(设计)人: | 涂兆鹏;刘洋;史树明;王硕 | 申请(专利权)人: | 腾讯科技(深圳)有限公司;清华大学 |
主分类号: | G06F40/44 | 分类号: | G06F40/44;G06F40/58 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;杜维 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 机器翻译 模型 训练 方法 语言 翻译 设备 | ||
1.一种机器翻译模型的训练方法,其特征在于,包括:
获取双语平行数据库,所述双语平行数据库包括多组双语平行句对,所述双语平行句对为由源语言数据和目标语言数据构成的内容对齐的数据,所述双语平行数据库包括第一双语平行数据库;
将所述第一双语平行数据库中的多组双语平行句对划分为源自源语言数据和源自目标语言数据,其中,属于所述源自源语言数据的双语平行句对中的目标语言数据是基于源语言数据翻译得到的,属于所述源自目标语言数据的双语平行句对中的源语言数据是基于目标语言数据翻译得到的;
通过所述源自源语言数据训练第一机器翻译模型,所述第一机器翻译模型用于将源语言翻译为目标语言。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一双语平行数据库中的多个双语平行句对划分为源自源语言数据和源自目标语言数据,包括:
从所述第一双语平行数据库中获取待处理平行句对;
根据待处理平行句对覆盖的内容,确定待处理平行句对的数据类型,所述数据类型包括所述源自源语言数据和所述源自目标语言数据。
3.根据权利要求2所述的方法,其特征在于,所述根据待处理平行句对覆盖的内容,确定待处理平行句对的数据类型,包括:
根据所述待处理平行句对中的源语言数据确定所述待处理平行句对中的源语言数据来源于源语言的第一概率;
根据所述待处理平行句对中的目标语言数据的内容确定所述待处理平行句对中的目标语言数据来源于目标语言的第二概率;
根据所述第一概率和所述第二概率之间的偏差确定所述待处理平行句对的数据类型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一概率和所述第二概率之间的偏差确定所述待处理平行句对的数据类型,具体包括:
根据所述第一概率和所述第二概率之间的偏差确定所述待处理平行句对的评分,所述评分用于确定所述待处理平行句对的数据类型;
当所述评分大于目标阈值时,确定所述待处理平行句对属于源自源语言数据;
当所述评分小于目标阈值时,确定所述待处理平行句对属于源自目标语言数据。
5.根据权利要求3或4所述的方法,其特征在于,根据所述待处理平行句对中的源语言数据确定所述待处理平行句对中的源语言数据来源于源语言的第一概率,包括:将所述待处理平行句对中的源语言数据输入到第一语言模型中,确定所述第一概率,所述第一语言模型用于确定所述待处理平行句对中的源语言数据在源语言中出现的概率,所述第一语言模型是通过源语言单语数据库训练得到的模型;
根据所述待处理平行句对中的目标语言数据的内容确定所述待处理平行句对中的目标语言数据是源自目标语言的第二概率,包括:将所述待处理平行句对中的目标语言数据输入到第二语言模型中,确定所述待第二概率,所述第二语言模型用于确定所述待处理平行句对中的目标语言数据在目标语言中出现的概率,所述第二语言模型为通过目标语言单语数据库训练得到的模型。
6.根据权利要求1-4任一项所述的方法,其特征在于,在通过所述源自源语言数据训练第一机器翻译模型之前,所述方法还包括:
使用所述双语平行数据库训练初始机器翻译模型,得到所述第一机器翻译模型。
7.根据权利要求1-4任一项所述的方法,其特征在于,在通过所述源自源语言数据训练第一机器翻译模型之前,所述方法还包括:
获取单语数据库,所述单语数据库包括多条语言为目标语言的原文本;
将所述单语数据库中的每一条原文本输入到所述第二机器翻译模型中,得到所述每一条原文本对应的源语言翻译文本,所述第二机器翻译模型是通过所述第一双语平行数据库训练得到的,所述第二机器翻译模型用于将目标语言翻译为源语言;
将所述多条语言为目标语言的原文本和所述多条语言为目标语言的原文本分别对应的源语言翻译文本组成的多组伪平行句对添加至所述双语平行数据库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司;清华大学,未经腾讯科技(深圳)有限公司;清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110356556.4/1.html,转载请声明来源钻瓜专利网。