[发明专利]一种数据增强方法、装置、设备及存储介质

权利要求书

1.一种数据增强方法，其特征在于，包括：

对原始数据集进行数据预处理，得到处理后的数据集，所述数据预处理用于剔除所述原始数据集中包括的预设文本，所述预设文本包括：预设的停用词、重复文本；

将所述处理后的数据集中包括的多个第一文本分别输入至构建的目标模型中，生成每个第一文本对应的关联文本，得到包括多个第二文本的增强数据集，所述多个第二文本包括所述多个第一文本和每个第一文本对应的关联文本；

对所述增强数据集中包括的所述多个第二文本进行数据清洗处理，得到清洗后的增强数据集，所述数据清洗处理用于基于预设阈值对所述多个第二文本进行筛选；

将所述原始数据集和所述清洗后的增强数据集进行合并，得到数据增强后的训练数据集。

2.根据权利要求1所述的方法，其特征在于，所述对原始数据集进行数据预处理，得到处理后的数据集，包括：

获取预设的停用词表，并基于所述预设的停用词表对所述原始数据集中包括的文本进行分词处理，得到分词后的数据集；

对所述分词后的数据集中包括的文本中的任意两个文本进行相似度判断，基于预设相似度阈值剔除所述分词后的数据集中的重复文本，得到所述处理后的数据集，所述重复文本为相似度大于预设相似度阈值的文本。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

从所述处理后的数据集中确定目标文本，并基于所述目标文本和预设模型生成目标prompt，所述目标文本为所述处理后的数据集中包括的文档主题和/或频率大于预设频率的高频词；

基于所述预设模型和所述目标prompt构建得到所述目标模型。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述对所述增强数据集中包括的所述多个第二文本进行数据清洗处理，得到清洗后的增强数据集，包括：

对所述增强数据集中包括的所述多个第二文本中的任意两个第二文本进行相似度判断，基于预设相似度阈值剔除所述多个第二文本中的重复文本，得到去重后的增强数据集，所述重复文本为相似度大于预设相似度阈值的文本；

对所述去重后的增强数据集中包括的文本进行数据清洗处理，得到所述清洗后的增强数据集。

5.根据权利要求4所述的方法，其特征在于，所述对所述去重后的增强数据集中包括的文本进行数据清洗处理，得到所述清洗后的增强数据集，包括：

将所述去重后的增强数据集中包括的文本输入到预设的判别模型中，确定所述去重后的增强数据集中包括的每个文本的置信度；

基于所述去重后的增强数据集中包括的每个文本的置信度和预设置信度阈值，从所述去重后的增强数据集中删除置信度小于所述预设置信度阈值的文本，得到所述清洗后的增强数据集。

6.一种数据增强装置，其特征在于，所述数据增强装置包括：处理单元；

所述处理单元，用于对原始数据集进行数据预处理，得到处理后的数据集，所述数据预处理用于剔除所述原始数据集中包括的预设文本，所述预设文本包括：预设的停用词、重复文本；

所述处理单元，用于将所述处理后的数据集中包括的多个第一文本分别输入至构建的目标模型中，生成每个第一文本对应的关联文本，得到包括多个第二文本的增强数据集，所述多个第二文本包括所述多个第一文本和每个第一文本对应的关联文本；

所述处理单元，用于对所述增强数据集中包括的所述多个第二文本进行数据清洗处理，得到清洗后的增强数据集，所述数据清洗处理用于基于预设阈值对所述多个第二文本进行筛选；

所述处理单元，用于将所述原始数据集和所述清洗后的增强数据集进行合并，得到数据增强后的训练数据集。

7.一种电子设备，其特征在于，包括：处理器以及存储器；其中，所述存储器用于存储一个或多个程序，所述一个或多个程序包括计算机执行指令，当所述电子设备运行时，处理器执行所述存储器存储的所述计算机执行指令，以使所述电子设备执行权利要求1-5中任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中存储的计算机执行指令由电子设备的处理器执行时，所述电子设备能够执行如权利要求1至5中任一项所述的方法。