[发明专利]一种数据增强方法、装置、设备及存储介质

说明书

本申请涉及一种数据增强方法、装置、设备及存储介质，涉及数据处理技术领域。该方法包括：对原始数据集进行数据预处理，得到处理后的数据集，数据预处理用于剔除原始数据集中包括的预设文本；将处理后的数据集中包括的多个第一文本分别输入至构建的目标模型中，生成每个第一文本对应的关联文本，得到包括多个第二文本的增强数据集，多个第二文本包括多个第一文本和每个第一文本对应的关联文本；对增强数据集中包括的多个第二文本进行数据清洗处理，得到清洗后的增强数据集，数据清洗处理用于基于预设阈值对多个第二文本进行筛选；将原始数据集和清洗后的增强数据集进行合并，得到数据增强后的训练数据集。

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据增强方法、装置、设备及存储介质。

背景技术

在自然语言处理领域，训练数据的质量和多样性对于模型的性能至关重要。具体可以通过训练两个序列到序列(Sequence to Sequence，seq2seq)模型生成转译后的数据增强文本，并通过Text卷积神经网络(Convolutional Neural Networks，CNN)作为判别器，优化生成结果；或者，可以通过对单词替换、插入删除等操作，并通过知识蒸馏的方式，获得带标注的增强文本。

在上述方法中，通过回译生成的文本往往存在语句不够通顺，同时回译生成的文本可能与原始文本存在很高的重复率；通过对词语替换等方式产生的语句往往会存在语义与原始语句可能不符，生成的增强语料均无法有效在语义空间对数据集进行扩充。因此，传统的数据增强方法，如回译、数据旋转、替换、删除或添加，通常会使数据失去其真实性或多样性，从而降低模型的性能。从而，当前对数据集中包括的数据进行扩充的效果较差、效率较低。

发明内容

本申请提供一种数据增强方法、装置、设备及存储介质，以至少解决相关技术中对数据集中包括的数据进行扩充的效果较差、效率较低的技术问题。本申请的技术方案如下：

根据本申请涉及的第一方面，提供一种数据增强方法，包括：对原始数据集进行数据预处理，得到处理后的数据集，数据预处理用于剔除原始数据集中包括的预设文本，预设文本包括：预设的停用词、重复文本；将处理后的数据集中包括的多个第一文本分别输入至构建的目标模型中，生成每个第一文本对应的关联文本，得到包括多个第二文本的增强数据集，多个第二文本包括多个第一文本和每个第一文本对应的关联文本；对增强数据集中包括的多个第二文本进行数据清洗处理，得到清洗后的增强数据集，数据清洗处理用于基于预设阈值对多个第二文本进行筛选；将原始数据集和清洗后的增强数据集进行合并，得到数据增强后的训练数据集。

根据上述技术手段，本申请可以通过对原始数据集进行数据预处理，以剔除原始数据集中包括的预设文本，得到处理后的数据集，并将处理后的数据集中包括的多个第一文本分别输入至构建的目标模型中，以生成每个第一文本对应的关联文本，得到包括多个第二文本的增强数据集；进而可以对增强数据集中包括的多个第二文本进行数据清洗处理，以基于预设阈值对多个第二文本进行筛选，得到清洗后的增强数据集；从而将原始数据集和清洗后的增强数据集进行合并，得到数据增强后的训练数据集。从而可以通过模型提高对数据集中包括的数据进行扩充的效果和效率。

在一种可能的实施方式中，上述方法中的对原始数据集进行数据预处理，得到处理后的数据集，包括：获取预设的停用词表，并基于预设的停用词表对原始数据集中包括的文本进行分词处理，得到分词后的数据集；对分词后的数据集中包括的文本中的任意两个文本进行相似度判断，基于预设相似度阈值剔除分词后的数据集中的重复文本，得到处理后的数据集，重复文本为相似度大于预设相似度阈值的文本。

根据上述技术手段，本申请可以基于获取的预设的停用词表，对原始数据集中包括的文本进行分词处理，以得到分词后的数据集，并进一步的对分词后的数据集中包括的文本中的任意两个文本进行相似度判断，以基于预设相似度阈值剔除分词后的数据集中的重复文本，得到处理后的数据集。通过对原始数据集中包括的文本进行分词处理，并剔除重复文本，可以降低后续步骤的工作量，提高数据处理的效率。