[发明专利]翻译模型训练方法及装置

权利要求书

1.一种翻译模型训练方法，其特征在于，包括：

确定初始语料集合中每个初始语料对的语料对分值，其中，初始语料对由对应源语种和对应目标语种的语句组成；

根据所述语料对分值在所述初始语料集合中，筛选出关联所述源语种和所述目标语种的初始语料对组成中间语料集合；

在所述中间语料集合中选择满足预设平行关系的中间语料对组成目标语料集合，并在所述目标语料集合中确定目标语料对；

将所述目标语料对添加至语料样本集，并利用所述语料样本集对初始翻译模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述确定初始语料集合中每个初始语料对的语料对分值步骤执行之前，还包括：

获取对应所述源语种的第一语料；

对所述第一语料进行翻译处理，获得对应所述目标语种的第二语料；

基于所述第一语料和所述第二语料构建扩增语料对，并将所述扩增语料对添加至预设语料集合，获得所述初始语料集合。

3.根据权利要求1所述的方法，其特征在于，所述初始语料集合中任意一个初始语料对的语料对分值的确定，包括：

在所述初始语料对中确定对应所述源语种的源语种语句，以及对应所述目标语种的目标语种语句；

选择对应所述源语种的语句识别算法对所述源语种语句进行识别处理，根据识别处理结果确定所述源语种语句对应的源语种分值；

选择对应所述目标语种的语句识别算法对所述目标语种语句进行识别处理，根据识别处理结果确定所述目标语种语句对应的目标语种分值；

根据所述源语种分值和所述目标语种分值，确定所述初始语料对的语料对分值。

4.根据权利要求1所述的方法，其特征在于，所述在所述中间语料集合中选择满足预设平行关系的中间语料对组成目标语料集合，包括：

将所述中间语料集合中包含的中间语料对，依次输入至预训练的语言模型进行处理，获得每个中间语料对的对齐分值；

按照所述对齐分值对所述中间语料集合中包含的中间语料对进行排序，根据排序结果选择设定数量的中间语料对，作为满足预设平行关系的中间语料对；

根据满足预设平行关系的中间语料对组成所述目标语料集合；

其中，所述预训练的语言模型用于在词单元对齐维度，预测每个中间语料对的对齐分值。

5.根据权利要求4所述的方法，其特征在于，所述预训练的语言模型，通过如下方式训练：

获取关联目标领域的样本语料集合；

在所述样本语料集合中确定第一样本语料对和第二样本语料对；

通过对所述第二样本语料对添加噪音处理，获得负样本语料对，并将所述第一样本语料对作为正样本语料对；

基于所述负样本语料对和所述正样本语料对，对初始语言模型进行训练，直至获得满足训练停止条件的所述预训练的语言模型。

6.根据权利要求5所述的方法，其特征在于，所述通过对所述第二样本语料对添加噪音处理，获得负样本语料对，包括：

对所述第二样本语料对中包含的第一样本语句和第二样本语句，分别进行词单元删除处理，根据词单元删除处理结果生成所述负样本语料对；

和/或，

对所述第二样本语料对中包含的第一样本语句和第二样本语句，分别进行词单元顺序调整处理，根据词单元顺序调整处理结果生成所述负样本语料对；

和/或，

对所述第二样本语料对中包含的第一样本语句和第二样本语句，分别进行句单元替换处理，根据句单元替换处理结果生成所述负样本语料对。

7.根据权利要求1所述的方法，其特征在于，所述在所述目标语料集合中确定目标语料对，包括：

在所述目标语料集合包含的初始目标语料对中，提取对应所述源语种的源语种目标语句；

通过领域关联模型和非领域关联模型对所述源语种目标语句进行处理，根据处理结果确定每个初始目标语料对的领域关联分值和非领域关联分值；

根据所述领域关联分值和所述非领域关联分值，在所述目标语料集合中确定所述目标语料对。