[发明专利]一种词对齐训练方法、机器翻译方法及系统有效
申请号: | 201610353921.5 | 申请日: | 2016-05-25 |
公开(公告)号: | CN107436865B | 公开(公告)日: | 2020-10-16 |
发明(设计)人: | 张海波;朱长峰;傅春霖;黄瑞;赵宇;骆卫华;林锋 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F40/44 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 任嘉文 |
地址: | 英属开曼群岛大开曼*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 对齐 训练 方法 机器翻译 系统 | ||
1.一种词对齐训练方法,其特征在于,该方法包括:
确定多个平行语料的词汇翻译总表,所述词汇翻译总表包括每一平行语料中源语句的词到目标语句的词的翻译概率;
将所述词汇翻译总表进行拆分,得到多个词汇翻译子表,所述词汇翻译子表包括至少一个平行语料中的源语句的词到目标语句的词的翻译概率;
基于所述词汇翻译子表,确定平行语料中的源语句的词与目标语句的词的对齐关系;
其中,确定多个平行语料的词汇翻译总表,具体包括:
针对所述平行语料,采用源语句的词与目标语句的词的翻译概率,计算该平行语料中源语句的词与目标语句的词的对齐概率;
根据所述平行语料中源语句的词与目标语句的词的对齐概率,计算源语句的词与目标语句的词的翻译概率,生成包括每一平行语料中源语句的词到目标语句的词的翻译概率的词汇翻译总表。
2.根据权利要求1所述的方法,其特征在于,将所述词汇翻译总表进行拆分,得到多个词汇翻译子表,具体包括:
以平行语料为单位,将所述词汇翻译总表进行拆分,得到多个词汇翻译子表。
3.根据权利要求2所述的方法,其特征在于,以平行语料为单位,将所述词汇翻译总表进行拆分,得到多个词汇翻译子表,包括:
针对每一平行语料,将该平行语料的标识与该平行语料中源语句的词到目标语句的词的翻译概率的对应关系添加到词汇翻译总表;
对添加有平行语料的标识的词汇翻译总表进行拆分,确定每一平行语料的标识对应的源语句的词与目标语句的词,以及该源语句的词与目标语句的词的翻译概率;
以平行语料的标识为单位,聚合同一平行语料的标识对应的源语句的词与目标语句的词的翻译概率,得到每一平行语料标识对应的词汇翻译子表。
4.根据权利要求1所述的方法,其特征在于,基于所述词汇翻译子表,确定平行语料中的源语句的词与目标语句的词的对齐关系,具体包括:
分布式集群中的第一节点将不同的所述词汇翻译子表,发给分布式集群中的不同的第二节点,由第一节点和第二节点基于源语句的词与目标语句的词的翻译概率、对齐概率进行迭代处理,直至满足预设的收敛条件时,输出平行语料中的源语句的词与目标语句的词的对齐关系。
5.根据权利要求4所述的方法,其特征在于,所述的收敛条件包括:达到预设的迭代处理次数;或者,当前计算得到的源语句的词与目标语句的词的对齐概率相比上一次计算得到的同一源语句的词与同一目标语句的词的对齐概率的差值,在预设范围内。
6.根据权利要求1所述的方法,其特征在于,所述词汇翻译总表以及所述词汇翻译子表中的源语句的词以及目标语句的词,均用数字编码表示。
7.根据权利要求6所述的方法,其特征在于,任一所述词的数字编码,是预先根据该词在所述多个平行语料中的出现概率确定的。
8.一种机器翻译方法,其特征在于,包括:
确定需要翻译的源语句;
根据预先训练得到的平行语料中的源语句的词与目标语句的词的对齐关系,确定需要翻译的源语句所对应的目标语句;
其中,所述对齐关系是采用如下方式训练得到的:
确定多个平行语料的词汇翻译总表,所述词汇翻译总表包括每一平行语料中源语句的词到目标语句的词的翻译概率;
将所述词汇翻译总表进行拆分,得到多个词汇翻译子表,所述词汇翻译子表包括至少一个平行语料中的源语句的词到目标语句的词的翻译概率;
基于所述词汇翻译子表,确定平行语料中的源语句的词与目标语句的词的对齐关系;
其中,确定多个平行语料的词汇翻译总表,具体包括:
针对所述平行语料,采用源语句的词与目标语句的词的翻译概率,计算该平行语料中源语句的词与目标语句的词的对齐概率;
根据所述平行语料中源语句的词与目标语句的词的对齐概率,计算源语句的词与目标语句的词的翻译概率,生成包括每一平行语料中源语句的词到目标语句的词的翻译概率的词汇翻译总表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610353921.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:核酸提取仪
- 下一篇:电热水壶(HHB1790)