[发明专利]基于词向量替换数据增强的机器翻译模型训练方法、装置、电子设备及存储介质

权利要求书

1.一种基于词向量替换数据增强的机器翻译模型训练方法，其特征在于，所述方法包括以下步骤：

a、针对已有的平行语料，利用源语言分别训练一个基于Transformer结构的正向语言模型和逆向语言模型，所述模型中，在给定所有单词词向量矩阵E，正向语言模型产生的单词w_t的词向量表示为：

其中，f_j(w_j)为词表中每个单词的概率分布，PF(w)为单词w_t在正向语言模型当中的一维向量表示；逆向语言模型产生的单词w_t词向量由下述公式计算得到：

其中，b_j(w_j)为词表中每个单词的概率分布，PB(w)为单词w_t在逆向语言模型当中的一维向量表示；

b、通过正向语言模型和逆向语言模型来获得句子中任意位置的词在整个词表上的概率分布，即通过用概率分布来替代单词的独热编码来表示该位置所有可能性的替换；

c、根据概率分布以及整个词表的词向量确定最终词向量，任意位置的词的最终词向量表示为：

e_w＝avg(PF(w)E+PB(w)E)

再利用最终词向量替换该位置的单词；

d、利用替换后的双语平行语料训练神经机器翻译模型；

e、将单语语料进行反向翻译，得到伪平行语料，将其加入训练数据中，重复a-d步骤得到最终翻译结果。

2.根据权利要求1所述的基于词向量替换数据增强的机器翻译模型训练方法，其特征在于，步骤a中需要的平行语料作为训练的样本数据集，对所描述的平行语料进程预处理：

过滤语料中的噪声符号；使用切分工具对语料进行切分；如果有必要，对语料进行大小写还原，全角-半角的转化；过滤长度比例过大或者过小的平行语言对；对所述的语料通过字节对编码技术进行预处理；将所述的语料中的词转换为独热编码表示；将所述的语料划分为不同的训练批次；对于较长的语料进行截取，对于较短的语料用0值进行填充，以使得同一批次的所述语料调整为相同长度的表示。

3.根据权利要求1所述的基于词向量替换数据增强的机器翻译模型训练方法，其特征在于，步骤e中所述单语语料为在训练语料的基础上添加更多的领域相关单语数据集来训练更为优异的语言模型；加入反向翻译的数据；加入带有标签的反向翻译数据，在源语言的译文数据中加入标签，来区分源端的不同数据。

4.一种基于词向量替换数据增强的机器翻译模型训练装置，其特征在于，该装置包括：样本数据集语料预处理模块，正向语言模型模块，逆向语言模型模块，词嵌入模块，概率分布确定模块，最终词向量确定模块，模型训练模块和单语语料融入模块，其中：

样本数据集语料预处理模块：用于对双语平行语料数据集或单语语料集进行预处理；

正向语言模型模块：用于获得正向的语言模型，所述语言模型为从左至右根据上文预测下文的语言模型；

逆向语言模型模块：用于获得逆向的语言模型，所述语言模型为从右至作根据下文预测上文的语言模型；

词嵌入模块：用于输入到机器翻译模型之中，作为所述模型的输入；

概率分布确定模块：用于通过正向语言模型、逆向语言模型来获得句子中任意位置的词在整个词表上的概率分布；

最终词向量确定模块：用于根据概率分布以及整个词表的词向量来确定最终词向量，利用最终词向量替换该位置的单词；

模型训练模块：用于利用替换后的双语平行语料再结合单语数据迭代地训练神经机器翻译模型；

单语语料融入模块：用于利用单语数据集进行反向翻译，并将得到的伪平行语料加入训练数据集语料之中。

5.根据权利要求4所述基于词向量替换数据增强的机器翻译模型训练装置，其特征在于，模型训练模块包括：

编码器模块，用以将源语言编码为特定维度的语义特征；

解码器模块，用以将语义特征解码为目标语言。