[发明专利]小样本文本数据混合增强方法

说明书

本发明公开的一种小样本文本数据混合增强方法，简洁、完备、自适应强。本发明通过下述技术方案实现：基于文本数据增强目标，将原始文本分为长文本数据和短文本数据，自动分开区分处理，对长文本数据进行同义词替换、随机插入、随机交换和随机删除，对不同长度的文本自动适配，对短文本数据进行回译增强，统计分析文本数据样本长度分布，将数据样本分布细分为更细粒度的组并进行掩码预测或预训练；将每个文本数据样本归类到不同的组，对不同组的文本数据样本，按组设置不同的掩码概率，通过降噪自编码过程进行掩码预测，实现文本数据二次增强；根据小样本数量生成批量增强文本，实现小样本文本数据混合增强。提高文本增强数量，同时保证增强质量。

技术领域

本发明是关于人工智能、自然语言处理等诸多信息处理领域，主要用于文本分类的数据增强技术，特别是涉及文本数据综合增强技术。

背景技术

数据增强，即通过转换为机器学习人工创建训练数据，是跨机器学习学科广泛研究的研究领域。它不仅对于提高模型的泛化能力很有用，也可以解决许多其他挑战和问题，从克服有限数量的训练数据到规范目标到限制用于保护隐私的数据量。数据增强指借助辅助数据或辅助信息,对原有的小样本数据集进行数据扩充或特征增强.数据扩充是向原有数据集添加新的数据,可以是无标签数据或者合成的带标签数据；特征增强是在原样本的特征空间中添加便于分类的特征,增加特征多样性。训练数据的增加并不总是导致学习问题的解决方案。尽管如此，数据对于监督分类器的质量仍然是决定性的。计算机视觉领域中就存在着许多不同的方法来人工创建此类数据，称为数据增强。数据增强有助于实现许多目标，包括正则化、最小化标签工作、降低敏感领域中真实世界数据的使用、平衡不平衡的数据集以及提高对抗对抗性攻击的鲁棒性。在高层次上，数据增强方法分为应用于特征空间和数据空间的方法。然后将这些方法细分为更细粒度的组，从噪声诱导到全新实例的生成。文本数据增强有许多对比形式，相比之下，自然语言处理(NLP)中的数据增强研究难以为文本数据的转换建立通用的可以在保持标签质量的同时自动执行规则。由于迁移学习的兴起，这些方法面临着另一个挑战。例如，许多数据增强方法在使用大型预训练语言模型时无法获得收益，因为它们本身已经对各种变换保持不变。随着迁移学习方法的使用越来越多，一些数据增强方法已经过时，因为它们遵循类似的目标。此外，就像Shorten和Khoshgoftaar描述的那样，数据增强无法涵盖所有转换可能性并消除原始数据中的所有类型的偏差。各种各样的技术和一些非常复杂的方法也带来了另一层需要理解的复杂性。此外，数据增强可能需要大量时间，因此并非所有方法都适用于时间关键的机器学习开发领域，例如，在危机信息学的某些领域。随着数据增强，也需要更多资源，尤其是在训练生成模型的背景下。当前的有监督的深度学习模型，如果想获得高性能，需要依赖于大量的标注训练数据。然后，在实际上项目中，往往存在训练样本少、标注数据成本高等情况。在这种情况下，我们就需要用到文本数据增强技术。