[发明专利]小样本文本数据混合增强方法

权利要求书

1.一种小样本文本数据混合增强方法，其特征在于包括如下步骤：基于文本数据增强目标，首先，将原始文本数据分为长文本数据和短文本数据，自动分开区分处理，对长文本数据进行同义词替换、随机插入、随机交换和随机删除，对不同长度的文本自动适配，同时对短文本数据进行回译增强；统计分析文本数据样本长度分布，将数据样本分布细分为更细粒度的组并进行掩码预测或预训练；将每个文本数据样本归类到不同的组，对不同组的文本数据样本，按组设置不同的掩码概率，通过降噪自编码过程进行掩码预测，二次增强文本数据，根据小样本数量生成批量增强文本，实现小样本文本数据混合增强。

2.如权利要求1所述的小样本文本数据混合增强方法，其特征在于：在分为长文本和短文本两类的原始文本数据中，选择待增强文本，对长文本数据进行同义词替换，设置替换比例，采用Jieba分词工具包进行Jieba分词，基于哈工大停用词表进行词图扫描，过滤停用词操作，过滤掉相同的词。

3.如权利要求2所述的小样本文本数据混合增强方法，其特征在于：打乱文本词的顺序，选择一个词，基于Synonym同义词库工具包进行同义词查找，对查找到的同义词进行随机选择，任选一个同义词替换当前被选中的词，判断当前替换比例是否满足要求，如果满足则同义词替换完成，如果不满足，则重新选择一个新的词进行同义词查找并进行替换，直到满足替换比例要求。

4.如权利要求1所述的小样本文本数据混合增强方法，其特征在于：选择待增强文本，设置插入比例，通过Jieba分词工具包进行Jieba分词，随机选择一个文本词，使用Synonym同义词库进行同义词查找并从结果中随机选择一个同义词，然后在原文本中随机选择一个插入点，将选择的同义词进行插入；判断当前插入比例是否满足要求，如果满足则随机插入完成，如果不满足，则重新选择一个文本词，进行同义词查找，随机选择同义词，随机选择插入点进行同义词插入，直到满足插入比例要求。

5.如权利要求1所述的小样本文本数据混合增强方法，其特征在于：选择待增强文本，设置交换比例，通过Jieba分词工具包进行Jieba分词，然后随机选择词1和词2，判断词2是否被选择超过3次，如果词2被选择超过3次，则此次不进行随机交换，如果词2被选择不超过3次，则继续判断词1和词2是否相同，如果相同则重新选择词2，如果不相同，则将词1和词2进行位置交换。

6.如权利要求5所述的小样本文本数据混合增强方法，其特征在于：判断当前交换比例是否满足要求，如果不满足，则重新随机选择词1和词2进行随机交换，直到满足随机交换比例要求。

7.如权利要求1所述的小样本文本数据混合增强方法，其特征在于：选择待增强文本，设置删除比例，通过Jieba分词工具包进行Jieba分词，然后随机选择一个词，同时随机产生一个0到1之间的随机数，判断随机数是否大于设定的删除比例，如果是则将选中的词进行删除，否则不进行删除，随机删除完成。

8.如权利要求1所述的小样本文本数据混合增强方法，其特征在于：选择原始中文文本，设置回译次数，基于机器翻译语言模型将中文语言翻译为其它种类的语言，从其它种类的语言翻译转为中文，达到一次回译效果，然后判断当前回译次数是否满足设定的次数，如果满足，则直接输出增强后的中文文本，如果不满足设定的次数，则进行中文到多语言，然后多语言到中文的回译过程，直至回译次数达到要求后输出增强后的中文文本。

9.如权利要求1所述的小样本文本数据混合增强方法，其特征在于：选择原始文本数据，使用自然语言处理工具包LTP先后进行文本分句、文本分词、词性标注、命名实体识别操作，获取文本人名、地名、组织名等实体，设置掩码预测比例和文本增强倍数；然后，选择一个文本句，选择句中任意一个命名实体，基于XLM-Roberta预训练模型对选中的命名实体进行掩码操作并进行实体预测，使用预测值进行实体替换。

10.如权利要求9所述的小样本文本数据混合增强方法，其特征在于：替换掩码的实体后，判断掩码预测比例是否满足要求，如果预测比例满足要求，则输出增强文本，然后判断文本增强倍数是否满足要求，如果满足增强倍数要求，则完成文本批量增强；如果预测比例不满足要求，则重新任意选择命名实体并重复以上掩码预测替换操作；如果增强倍数不满足要求，则重新选择文本句并重复以上掩码预测替换操作，直至满足增强倍数要求，完成文本批量增强。