[发明专利]一种机器翻译方法、装置、电子设备及存储介质

说明书

本申请公开了一种机器翻译方法、装置、电子设备及存储介质，该方法包括获取待翻译源语句；将所述待翻译源语句的第一复合子词向量输入预先训练的机器翻译模型，确定所述待翻译源语句对应的目标译文语句；其中，所述第一复合子词向量根据所述待翻译源语句的第一子词序列与第一子词边界序列得到，所述第一子词边界序列用于表征所述第一子词序列中各个子词在对应整词内的位置。由于复合子词向量除了包含该待翻译源语句的子词序列，还包含表征各个子词在对应整词内位置信息的子词边界序列，由此避免了割裂同一整词中各个子词间的原有语义关联，有效提升了翻译的准确度。

技术领域

本申请一般涉及自然语言处理技术领域，具体涉及一种机器翻译方法、装置、电子设备及存储介质。

背景技术

神经机器翻译(Neural Machine Translation，NMT)是指直接采用神经网络，以端到端方式进行翻译建模的机器翻译方法。早期的神经机器翻译采用词级别作为建模单元，而由于在大规模双语训练过程中，考虑到存储和效率的问题，词表只包含源语言或者目标语言中词频最高的词，这就会导致出现大量集外词(Out of Vocabulary，OOV)，造成翻译质量较低。

目前，相关技术中以子词(Subword)作为文本建模单元，通过字节对编码(BytePair Encoding，BPE)方式来消除集外词，同时由于采用较小的词表，保证了模型可训练以及解码的速度。

然而，在实现本发明的过程中，发明人发现相关技术至少存在如下问题：字节对编码方式在将原本的整词(Whole Word)文本序列转换为子词(Subword)文本序列之后，每个子词成为一个独立的“词语”，使得来源于一个整词的各个子词间原有语义关联出现缺失，影响翻译的准确度。

发明内容

鉴于相关技术中的上述缺陷或不足，期望提供一种机器翻译方法、装置、电子设备及存储介质，能够将子词边界信息融合到翻译过程中，有效提升翻译的准确度。

第一方面，本申请提供一种机器翻译方法，所述方法包括：

获取待翻译源语句；

将所述待翻译源语句的第一复合子词向量输入预先训练的机器翻译模型，确定所述待翻译源语句对应的目标译文语句；

其中，所述第一复合子词向量根据所述待翻译源语句的第一子词序列与第一子词边界序列得到，所述第一子词边界序列用于表征所述第一子词序列中各个子词在对应整词内的位置。

在本申请一些实施例中，所述机器翻译模型通过如下步骤训练而成：

根据对源语言语句和所述源语言语句对应的目标语言语句进行词语切分得到的整词序列，学习BPE编码规则，所述BPE编码规则包括源语言BPE编码规则和目标语言BPE编码规则；

基于所述源语言BPE编码规则确定所述源语言语句的第二复合子词向量，所述第二复合子词向量根据所述源语言语句的第二子词序列和第二子词边界序列得到；以及，基于所述目标语言BPE编码规则确定所述目标语言语句的第二子词序列；

根据所述源语言语句的第二复合子词向量与所述目标语言语句的第二子词序列进行编码和解码训练，得到所述机器翻译模型。

在本申请一些实施例中，所述基于所述源语言BPE编码规则确定所述源语言语句的第二复合子词向量，所述第二复合子词向量根据所述源语言语句的第二子词序列和第二子词边界序列得到，包括：

根据所述源语言BPE编码规则，对所述源语言语句的整词序列再次进行切分，得到所述源语言语句的第二子词序列；

标注所述源语言语句的第二子词序列中各个子词在对应整词内的位置，得到所述第二子词边界序列；

转换所述源语言语句的第二子词序列为所述源语言语句的第二子词向量，以及所述第二子词边界序列为第二子词边界向量；