[发明专利]一种词对齐训练方法、机器翻译方法及系统

说明书

本申请公开了一种词对齐训练方法、机器翻译方法及系统，用以提高词对齐训练效率。本申请提供的一种词对齐训练方法，包括：确定多个平行语料的词汇翻译总表，所述词汇翻译总表包括每一平行语料中源语句的词到目标语句的词的翻译概率；将所述词汇翻译总表进行拆分，得到多个词汇翻译子表，所述词汇翻译子表包括至少一个平行语料中的源语句的词到目标语句的词的翻译概率；基于所述词汇翻译子表，确定平行语料中的源语句的词与目标语句的词的对齐关系。

技术领域

本申请涉及信息处理技术领域，尤其涉及一种词对齐训练方法、机器翻译方法及系统。

背景技术

统计机器翻译技术是当前机器翻译的主流技术，词对齐是机器翻译训练技术的核心，词对齐是从双语句对中经过统计与分析，计算出每个双语句对中词与词之间的对齐结果。词对齐的性能直接影响后续翻译准确性。

词对齐技术属于线下训练部分，一个好的统计机器翻译系统，训练语料规模一般情况下都在上千万句级别，现有技术中词对齐训练可以在单台机器上实现，但由于训练语料数量庞大，因此得到的词对齐训练结果需要占据很大内存，并且需要花费很长时间，例如，在内存128G的服务器上，基于上千万句级别的训练语料的词对齐训练所花费时间在60小时左右。一次翻译系统升级，往往伴随着多次的词对齐训练和试验，所以线下词对齐训练成为机器翻译系统的升级瓶颈，严重影响翻译系统迭代升级的速度。

为了提高词对齐训练速度，减轻单台机器的运行压力，现有技术中还可以采用分布式集群进行词对齐训练，即在多台机器上进行词对齐训练，但是，无论采用哪种词对齐训练技术，现有技术中的词对齐训练都需要维护一张很大矩阵的词汇表，也就是源语言词汇到目标语言词汇的二维矩阵，通常而言，该矩阵能达到20G以上或者更大，维护如此之大的矩阵给技术带来很大的挑战。在单机模式下，容易导致内存不足，并且单机的词对齐训练过程需要占用较长时间。但是在分布式集群中，每个集群都需要加载如此之大的矩阵，会将集群的资源消耗掉，与此同时，在集群中分发如此之大的矩阵也会耗光整个集群的网络资源，并且也会影响词对齐训练的效率。

发明内容

本申请实施例提供了一种分布式词对齐训练方法、机器翻译方法及系统，用以提高词对齐训练效率，并且减轻分布式集群的资源消耗。

本申请实施例提供的一种词对齐训练方法，包括：

确定多个平行语料的词汇翻译总表，所述词汇翻译总表包括每一平行语料中源语句的词到目标语句的词的翻译概率；

将所述词汇翻译总表进行拆分，得到多个词汇翻译子表，所述词汇翻译子表包括至少一个平行语料中的源语句的词到目标语句的词的翻译概率；

基于所述词汇翻译子表，确定平行语料中的源语句的词与目标语句的词的对齐关系。

通过该方法，确定多个平行语料的词汇翻译总表，所述词汇翻译总表包括每一平行语料中源语句的词到目标语句的词的翻译概率；将所述词汇翻译总表进行拆分，得到多个词汇翻译子表，所述词汇翻译子表包括至少一个平行语料中的源语句的词到目标语句的词的翻译概率；基于所述词汇翻译子表，确定平行语料中的源语句的词与目标语句的词的对齐关系，从而提高了词对齐训练效率。具体地，在分布式计算系统中，上述得到的词汇翻译总表比较大，若分发到分布式计算系统中的所有的节点需要耗费很久的时间。因此，本申请实施例中，通过将上述得到的词汇翻译总表拆分成很多小的词汇翻译子表，后续可以将词汇翻译子表分发到分布式计算系统中的不同的计算节点分别进行相应计算，从而极大的降低了分发所需的时间，提高了词对齐训练效率，并避免了分布式系统对于资源的限制问题。

可选地，确定多个平行语料的词汇翻译总表，具体包括：

针对所述平行语料，采用源语句的词与目标语句的词的翻译概率，计算该平行语料中源语句的词与目标语句的词的对齐概率；