[发明专利]文本增强处理方法、装置、设备及存储介质

说明书

本申请提供的一种文本增强处理方法、装置、设备及存储介质，包括：获取至少两个分类标签以及所述分类标签对应的文本数据，根据所述分类标签对应的文本数据的数量，确定待处理文本数据；对所述待处理文本数据进行增强处理，得到增强后的文本数据；其中，所述增强处理包括：同义词替换、随机插入词语、随机交换词语、随机删除词语中的至少一个以及对所述待处理文本数据语义处理；计算所述增强后的文本数据与所述待处理文本数据的语义相似度，得到所述语义相似度结果，根据所述语义相似度结果确定训练样本数据。采用本技术方案，能够有效提高数据增强后的数据量的质量，而不是简单地在数量上做了增加。

技术领域

本申请涉及增强处理技术领域，尤其涉及一种文本增强处理方法、装置、设备及存储介质。

背景技术

目前，在文本分类问题中，经常需要进行数据增强，数据是机器学习的原材料，而大部分机器学习任务都是有监督任务的，所以非常依赖训练数据，而训练数据就是一种有标注数据，比如做文本分类的任务，就需要一些标注好的文本数据，算法起到一个拟合有标注的数据的作用，从数据中找到一定规律，比如某个数据属于某一类是由于某种特征，通过这个过程，最终收获一个能预测一些规律的模型，从而使用这个模型去做一些预测，因此想要让人工智能模型有更好的效果，需要更大、质量更好的数据，当只有少类样本的时候，就需要数据增强来提高数据量。

目前数据增强的方式都是针对句子中词语本身做一些变换，没有考虑句子语义上的变化，经数据增强后的训练数据的难以达到有效扩充训练样本的目的。

发明内容

本申请提供了一种文本增强处理方法、装置、设备及存储介质，能够有效提高数据增强后的数据量的质量，而不是简单地在数量上做了增加。

第一方面，本申请提供一种文本增强处理方法，所述方法包括：

获取至少两个分类标签以及所述分类标签对应的文本数据，根据所述分类标签对应的文本数据的数量，确定待处理文本数据；

对所述待处理文本数据进行增强处理，得到增强后的文本数据；其中，所述增强处理包括：同义词替换、随机插入词语、随机交换词语、随机删除词语中的至少一个以及对所述待处理文本数据语义处理；

计算所述增强后的文本数据与所述待处理文本数据的语义相似度，得到所述语义相似度结果，根据所述语义相似度结果确定训练样本数据。

在一个示例中，若所述增强处理为对所述待处理文本数据语义处理，对所述待处理文本数据进行增强处理，得到增强后的文本数据，包括：

对所述待处理文本数据进行预设语种的翻译，得到翻译结果；

将所述翻译结果转换至所述待处理文本数据的语种，得到增强后的文本数据。

在一个示例中，对所述待处理文本数据进行增强处理，得到增强后的文本数据，包括：

对所述待处理文本数据进行分词处理，得到待处理文本数据中的多个词语；

对所述多个词语进行语义识别，得到语义识别结果，将所述语义识别结果中的停用词进行剔除后，得到处理后的语义识别结果；

将所述处理后的语义识别结果中预设位数的词语进行同义词替换，得到增强后的文本数据。

在一个示例中，对所述待处理文本数据进行增强处理，得到增强后的文本数据，包括：

对所述待处理文本数据进行分词处理，得到待处理文本数据中的多个词语；

对所述多个词语进行语义识别，得到语义识别结果，识别所述语义识别结果中两两词语之间的位置，在所述位置中随机插入词语，得到随机插入词语后的文本数据；

将随机插入词语后的文本数据作为所述增强后的文本数据。