[发明专利]文本数据增强处理方法、装置、电子设备和可读存储介质

说明书

本申请提供一种文本数据增强处理方法、装置、电子设备和可读存储介质，通过将待处理的文本数据导入预先训练得到的识别模型，以获得文本数据包含的各个词汇的词标签，其中，词标签可表征词汇对文本数据的句标签是否产生影响，而识别模型为利用包含多个训练文本的训练集训练得到。再根据各个词汇的词标签对文本数据进行转换处理，将转换前后的文本数据添加至训练集中，再基于训练集对识别模型进行训练，得到满足预设要求的识别模型。该方案可结合词标签所表征的词汇对于文本整体的影响进行转换处理，有针对性地进行文本增强处理，可满足文本增强处理的具体需求，有效提高模型的泛化性。

技术领域

本申请涉及自然语言处理技术领域，具体而言，涉及一种文本数据增强处理方法、装置、电子设备和可读存储介质。

背景技术

自然语言处理领域(Natural Language Processing，NLP)中文本分类时，普遍存在标注数据量较少及标准数据不平衡等问题，会导致所训练得到的模型泛化性较差。然而，人工标注新的数据费事费力，且无法规模化。因此，通过文本数据增强处理是一种有效的扩展样本的方式。

现有技术中所使用的文本数据增强方式主要包括如词汇替换方法、反向翻译方法以及随机加入噪音等方法。其中，词汇替换方法则是随机从句子中提取一个或多个词汇，使用同义词词典将提取的词汇替换为其同义词。反向翻译方法则是将句子翻译为另一语言，例如将中文翻译为英文，再将翻译后的英文再反向翻译为中文。如此，翻译得到的中文和原本的中文句子将存在差异，从而达到扩展样本的目的。而随机加入噪音的方式则是将一些停用词或者符号随机加入句子中，或者随机打乱长句中各分句的顺序。

现有技术中所采用的方法均是没有针对性的替换、变换或删除方式，这种无针对性、无依据性的文本增强方式难以有效的针对句子情感类别进行文本增强，难以有针对性地提高模型的泛化性。

发明内容

本申请的目的包括，例如，提供了一种文本数据增强处理方法、装置、电子设备和可读存储介质，其能够有针对性地进行文本增强，满足文本增强处理需求、有效提高模型泛化性。

本申请的实施例可以这样实现：

第一方面，本申请提供一种文本数据增强处理方法，所述方法包括：

将待处理的文本数据导入预先训练得到的识别模型，获得所述文本数据包含的每个词汇的词标签，所述词标签表征所述词汇对所述文本数据的句标签产生影响，或所述词汇对所述文本数据的句标签不产生影响，所述识别模型为利用包含多个训练文本的训练集训练得到；

根据所述文本数据中的各个词汇的词标签对所述文本数据进行转换处理；

将处理前后的文本数据添加至所述训练集中，再基于所述训练集对所述识别模型进行训练，得到满足预设要求的识别模型。

在可选的实施方式中，所述根据所述文本数据中的各个词汇的词标签对所述文本数据进行转换处理的步骤，包括：

筛选出所述文本数据中词标签表征所述词汇对所述文本数据的句标签不产生影响的所有词汇；

将筛选出的词汇替换为与其匹配的预设词汇，或删除筛选出的词汇。

在可选的实施方式中，所述将待处理的文本数据导入预先训练得到的识别模型，获得所述文本数据包含的每个词汇的词标签的步骤，包括：

获得待处理的文本数据包含的各个词汇的词向量；

将多个词向量导入预先训练得到的识别模型，获得各所述词汇对应的权重值；

根据各所述词汇的权重值为对应词汇进行词标签设置。

在可选的实施方式中，所述方法还包括预先利用所述训练集训练获得所述识别模型的步骤，该步骤包括：