[发明专利]翻译模型的处理方法、装置和计算机可读存储介质

说明书

本公开涉及一种翻译模型的处理方法、装置和计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：获取多组训练语句，其中，每组训练语句包括：原语句和目标翻译语句；针对每组训练语句，将原语句输入翻译模型的编码器，得到原语句的特征向量，并将原语句的特征向量输入翻译模型的解码器；针对解码器生成的除句尾之外每个位置的词语，确定该词语和该词语之前的各个词语组成的已生成语句与目标翻译语句之间的语义相似度；根据语义相似度选取该词语或者目标翻译语句中与该词语相同位置的词语生成下一位置的词语；根据解码器生成的各个位置的词语组成的翻译语句与目标翻译语句的差异，对翻译模型进行训练。

技术领域

本公开涉及计算机技术领域，特别涉及一种翻译模型的处理方法、 装置和计算机可读存储介质。

背景技术

自回归模型(Autoregressive Model，ARM)广泛用于自然语言 生成(NeuralLanguage Generation，NLG)任务，如机器翻译、对 话回复生成、图像字幕生成和视频描述生成，利用编码-解码器框架 预测以已生成短句为条件的下一个单词。

针对机器翻译场景，ARM在训练时，真实翻译语句被用作已生 成短句，这迫使模型直接学习真实翻译语句的分布。但在测试或使用 时，已生成短语来自ARM的解码器本身，这与训练时的输入分布是 不同的。

发明内容

发明人发现：翻译模型在训练时和测试或使用时输入解码器部分 的数据不同，导致训练得到的翻译模型无法在测试和使用时实现准确 的翻译功能。

本公开所要解决的一个技术问题是：提高翻译模型训练的准确性。

根据本公开的一些实施例，提供的一种翻译模型的处理方法，包括： 获取多组训练语句，其中，每组训练语句包括：原语句和目标翻译语 句；针对每组训练语句，将原语句输入翻译模型的编码器，得到原语 句的特征向量，并将原语句的特征向量输入翻译模型的解码器；针对 解码器生成的除句尾之外每个位置的词语，确定该词语和该词语之前 的各个词语组成的已生成语句与目标翻译语句之间的语义相似度；根 据语义相似度选取该词语或者目标翻译语句中与该词语相同位置的词 语生成下一位置的词语；根据解码器生成的各个位置的词语组成的翻 译语句与目标翻译语句的差异，对翻译模型进行训练。

在一些实施例中，确定该词语和该词语之前的各个词语组成的已 生成语句与目标翻译语句之间的语义相似度包括：将该词语和该词语 之前的各个词语组成的已生成语句与目标翻译语句作为语句对，输入 基于转换器的双向编码表征BERT模型，得到输出语句对的特征向量； 将语句对的特征向量输入激活函数模块，得到已生成语句与目标翻译 语句的语义相似度。

在一些实施例中，确定该词语和该词语之前的各个词语组成的已 生成语句与目标翻译语句之间的语义相似度包括：生成随机数，并将 随机数与参考值对比，其中，参考值位于随机数的取值范围内；确定 随机数是否小于参考值，在小于参考值的情况下，确定该词语和该词 语之前的各个词语组成的已生成语句与目标翻译语句之间的语义相似 度。

在一些实施例中，参考值随训练次数的增大而增大。

在一些实施例中，根据语义相似度选取该词语或者目标翻译语句 中与该词语相同位置的词语生成下一位置的词语包括：在语义相似度 高于阈值的情况下，根据该词语生成下一位置的词语；在语义相似度 低于阈值的情况下，根据目标翻译语句中与该词语相同位置的词语生 成下一位置的词语。

在一些实施例中，阈值随训练次数的增加而增大。

在一些实施例中，解码器包括多个解码模块，根据语义相似度选 取该词语或者目标翻译语句中与该词语相同位置的词语生成下一位置 的词语包括：根据语义相似度选取该词语或者目标翻译语句中与该词 语相同位置的词语，作为输入词语；将该词语对应的解码模块输出的 状态，输入词语的词向量输入下一位置的词语对应的解码模块，得到 输出的下一位置的词语。