[发明专利]数据生成方法、装置、电子设备和存储介质

说明书

本公开关于一种数据生成方法、装置、电子设备、存储介质，所述方法包括：获取原始数据集合，以及基于原始数据集合得到的扩增数据集合；根据每个原始数据进行语言转换后的原始转译数据，得到原始转译数据集合，以及根据每个扩增数据进行语言转换后的扩增转译数据，得到扩增转译数据集合；根据原始转译数据集合和扩增转译数据集合，确定多个转译数据对；从多个转译数据对中确定出至少一个目标转译数据对；每个目标转译数据对中的两个转译数据的语义相似度大于或等于预设相似度阈值；基于至少一个目标转译数据对，从原始数据集合和扩增数据集合中，筛选出至少一个目标数据对。采用本方法能够实现可控的数据增强，提升了数据增强效果。

技术领域

本公开涉及互联网技术领域，尤其涉及一种数据生成方法、装置、电子设备、存储介质和计算机程序产品。

背景技术

目前，针对NLP(Natural Language Processing，自然语言处理)领域的预训练模型任务，由于基于真实资源得到的训练数据较为缺乏，需要通过数据增强方式进行改善，以生成大量的训练数据。但采用传统的数据增强方法，存在因语言数据的离散性质所带来的挑战，如增强的语言数据改变了原数据的语义结构、语义顺序等，进而基于增强的语言数据进行后续模型训练任务，会在训练过程中产生较大的噪声，影响模型性能，造成数据的语义表征准确性差。

发明内容

本公开提供一种数据生成方法、装置、电子设备、存储介质和计算机程序产品，以至少解决相关技术中存在数据的语义表征准确性差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据生成方法，包括：

获取原始数据集合，以及基于所述原始数据集合得到的扩增数据集合；所述扩增数据集合包括与所述原始数据集合中每个原始数据分别对应的扩增数据，所述扩增数据通过对所述原始数据进行数据增强得到；

根据每个原始数据进行语言转换后的原始转译数据，得到原始转译数据集合，以及根据每个扩增数据进行语言转换后的扩增转译数据，得到扩增转译数据集合；

根据所述原始转译数据集合和所述扩增转译数据集合，确定多个转译数据对；每个转译数据对包括原始转译数据和扩增转译数据；

从所述多个转译数据对中确定出至少一个目标转译数据对；每个目标转译数据对中的两个转译数据的语义相似度大于或等于预设相似度阈值；

基于所述至少一个目标转译数据对，从所述原始数据集合和所述扩增数据集合中，筛选出至少一个目标数据对；所述目标数据对中的原始数据与所述目标转译数据对中的原始转译数据具有对应关系，所述目标数据对中的扩增数据与所述目标转译数据对中的扩增转译数据具有对应关系。

在一种可能实现方式中，所述获取原始数据集合，以及基于所述原始数据集合得到的扩增数据集合，包括：

获取原始数据集合；所述原始数据集合中包含多个原始数据；

按照预设的数据增强方式对每个原始数据进行处理，得到所述每个原始数据对应的扩增数据；所述数据增强方式包括同义词替换、随机插入、随机互换、随机删除中的至少一种；

基于所述每个原始数据对应的所述扩增数据，生成所述扩增数据集合。

在一种可能实现方式中，所述根据每个原始数据进行语言转换后的原始转译数据，得到原始转译数据集合，以及根据每个扩增数据进行语言转换后的扩增转译数据，得到扩增转译数据集合，包括：

将所述每个原始数据输入至预训练的翻译模型，得到所述每个原始数据进行语言转换后的原始转译数据，并基于各所述原始转译数据，得到所述原始转译数据集合；

将所述每个扩增数据输入至所述预训练的翻译模型，得到所述每个扩增数据进行语言转换后的扩增转译数据，并基于各所述扩增转译数据，得到所述扩增转译数据集合。