[发明专利]训练样本增强方法、装置、计算机设备和存储介质

说明书

本申请涉及一种训练样本增强方法、装置、计算机设备和存储介质。该方法包括：获取第一源语言语句以及所述第一源语言语句的关联语句；将所述关联语句中的至少一个语句与所述第一源语言语句进行拼接，得到第二源语言语句；根据所述第二源语言语句，确定第二目标语言语句；将所述第二源语言语句和所述第二目标语言语句形成一个语句对，并将所述语句对作为训练样本。本申请中第二源语言语句是真实数据，而非伪数据，这样可以减少或避免伪数据产生的噪音给机器翻译模型带来的负面影响。

技术领域

本申请涉及机器翻译技术领域，尤其涉及一种训练样本增强方法及装置、机器翻译模型训练方法及装置、计算机设备和存储介质。

背景技术

目前，机器翻译是通过样本训练得到的翻译模型进行翻译，把源语言翻译成目标语言。而翻译模型的训练需要大量的训练样本，训练样本即源语言和目标语言的语句对，其获取成本很高，特别是小语种，需要专门的翻译人员进行标注，所以技术人员越来越青睐于通过数据增强的方式来扩充训练样本，以降低成本。

目前，数据增强的方法有词语替换、回译等方法。其中，词语替换，例如，将“这个动作很酷”中的“很”替换为“非常”，采用这种方法需要维持一个完全正确的同义词表，因为一旦同义词表有问题，替换成的语句会和原语句的含义不同。其中，回译，例如，先将“他很好看”翻译成英文“He looks good”，然后再翻译成中文“他看起来很好”，显然回译后语句的含义和原来语句的含义是有差别的，“看起来很好”未必是“很好看”的意思。可见这种方式虽然增加了训练样本的数量，但是也增加了错误的噪音。实际上，词语替换、回译这些方法增加的数据都是伪数据，在增加训练样本数量的同时，也引入了很多噪音，增加了机器学习的难度，而且需要对替换率和噪音率做精细的调整，因此工作量大、不够灵活。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种训练样本增强方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种训练样本增强方法，包括：

获取第一源语言语句以及所述第一源语言语句的关联语句；

将所述关联语句中的至少一个语句与所述第一源语言语句进行拼接，得到第二源语言语句；

根据所述第二源语言语句，确定第二目标语言语句；

将所述第二源语言语句和所述第二目标语言语句形成一个语句对，并将所述语句对作为训练样本。

第二方面，本申请提供了一种机器翻译模型训练方法，包括：

获取训练样本，所述训练样本包括多个语句对，每一个语句对包括源语言语句和对应的目标语言语句；

第一方面提供的训练样本增强方法对所述训练样本进行扩充；

根据所述训练样本和扩充增加的训练样本进行模型训练。

第三方面，本申请提供了一种训练样本增强装置，包括：

语句获取模块，用于获取第一源语言语句以及所述第一源语言语句的关联语句；

第一确定模块，用于将所述关联语句中的至少一个语句与所述第一源语言语句进行拼接，得到第二源语言语句；

第二确定模块，用于根据所述第二源语言语句，确定第二目标语言语句；

语句对形成模块，用于将所述第二源语言语句和所述第二目标语言语句形成一个语句对，并将所述语句对作为训练样本。

第四方面，本申请提供了一种机器翻译模型训练装置，包括：

样本获取装置，用于获取训练样本，所述训练样本包括多个语句对，每一个语句对包括源语言语句和对应的目标语言语句；