[发明专利]神经机器翻译模型的构建方法及装置、翻译方法及装置

说明书

本发明实施例提供一种神经机器翻译模型的构建方法及装置、翻译方法及装置。其中，神经机器翻译模型的构建方法包括：基于编码器‑解码器框架构建神经机器翻译模型，解码器在生成目标词汇时，依次生成与目标词汇对应的第一属性向量和第二属性向量，再由第一属性向量和第二属性向量组成属性向量对映射到相应的目标词汇。本发明实施例提供的神经机器翻译模型的构建方法及装置、翻译方法及装置，通过利用一对属性向量表示目标词汇，可尽可能多的覆盖目标词汇，不需要对训练与测试数据进行前后处理，避免了错误传播，可有效解决神经机器翻译中的集外词问题；另外，由于大幅减少了用于表示目标词汇的参数数量，模型的空间消耗也相应减少。

技术领域

本发明实施例涉及自然语言的处理及转换技术领域，具体涉及一种神经机器翻译模型的构建方法及装置、翻译方法及装置。

背景技术

机器翻译是指利用机器将一种自然语言(以下简称源语言)自动转换成相同含义的另一种语言(以下简称目标语言)的过程。随着全球化进程的加速，不同语言人群的政治、经济、文化等方面的交流与日俱增，人们对翻译的需求日益迫切，自动机器翻译由于其简便高效，对促进不同语言人群的交流起到了巨大作用。

随着深度学习技术的发展，基于编码器-解码器框架的神经机器翻译已经成为新一代机器翻译技术。在多个语言对的机器翻译公开评测中，神经机器翻译相比其他机器翻译方法在翻译质量上有了极大的提升。谷歌、百度等多家公司先后将其线上多个语言对上的机器翻译系统升级为神经机器翻译。

然而，受到计算机资源特别是内存大小的限制，现有神经机器翻译系统需要限制其词汇量，进而导致集外词问题的出现。在解码生成每个词过程中，由于神经机器翻译模型需要对全部目标词汇的概率进行归一化操作并选择其中概率最大的词，时间复杂度非常高。基于上述原因，目前最为广泛采用的方式是根据各个词在训练集中出现频率进行划分，选取频率较高的词(高频词)加入词表，其他词则视为未登录词。因此，神经机器翻译不能很好地对未登录词进行翻译，导致了集外词问题的出现。

目前解决集外词的方法主要是采用基于细粒度的翻译模型，它是把一些复杂的词按一定的规则切分成多个简单的子词，比如将英文单词enjoying切分成enjoy和ing两个子词。在进行训练前，将训练语料中的所有复杂词切成多个简单子词，即进行前处理；在模型训练完成后，将已翻译的句子中的多个简单子词重新拼回正常的词，即进行后处理。其中，将词切分为子词的切分规则是通过一种叫做字节对编码(byte pair encoding，BPE)的统计方法在训练集中学习出来的，经常会有复杂词切错的情况出现，比如将fling这个单词错误的切成fl和ing两个子词，如果在这种情况下训练神经机器翻译模型，因为输入的训练数据就是有错误的，就形成错误传播。

因此，采用基于细粒度的翻译模型主要是基于统计和规则的前处理与后处理操作，并未对翻译模型本身进行改进，存在错误传播的可能性，进而降低翻译质量，无法有效解决集外词问题。

综上所述，神经机器翻译中限制词汇量的问题仍待解决，如何在不增加模型空间复杂度和计算复杂度的前提下，尽可能多的覆盖目标语词汇，从而提升翻译的质量成为神经机器翻译中一个重要的研究课题。

发明内容

为解决现有神经机器翻译中的集外词问题，本发明实施例提供一种神经机器翻译模型的构建方法及装置、翻译方法及装置。

第一方面，本发明实施例提供一种神经机器翻译模型的构建方法，所述方法包括：基于编码器-解码器框架构建神经机器翻译模型，所述神经机器翻译模型包括编码器和解码器；其中，所述解码器在生成目标词汇时，依次生成与目标词汇对应的第一属性向量和第二属性向量，然后再由所述第一属性向量和所述第二属性向量组成一个属性向量对映射到相应的目标词汇。

第二方面，本发明实施例提供一种神经机器翻译方法，所述方法包括：基于上述方法所构建的神经机器翻译模型，将源语句翻译成目标语句。