[发明专利]数据增强处理方法及装置

说明书

本说明书实施例提供了数据增强处理方法及装置，其中，一种数据增强处理方法包括：按照文本集合中标注文本的类别标签，将所述文本集合划分为与所述类别标签对应的文本子集合；对各文本子集合中的标注文本进行单句切分，获得所述各文本子集合的单句集合；基于所述各文本子集合的单句集合，对所述各文本子集合中的标注文本进行数据增强，获得多个新增文本；识别所述多个新增文本的类别标签，并在所述多个新增文本中筛选类别标签与对应的标注文本的类别标签相同的目标文本；根据所述目标文本和所述文本集合中的标注文本构建目标文本集合。采用本申请实施例可提升数据增强的有效性。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据增强处理方法及装置。

背景技术

随着互联网的迅速普及和社交媒体的盛行，大量的文本在互联网上堆积，如何对堆积的大量文本进行分类成为用户日渐关注的问题。文本分类，就是把文本按照一定的规则分门别类，是自然语言处理中重要的研究方向之一，文本分类在许多场景下均有着广泛的应用，例如舆情分析、垃圾信息和邮件过滤、搜索引擎对网页相关性排序、信息检索、数据挖掘等。

发明内容

第一方面，本申请实施例提供了一种数据增强处理方法，包括：

按照文本集合中标注文本的类别标签，将所述文本集合划分为与所述类别标签对应的文本子集合；

对各文本子集合中的标注文本进行单句切分，获得所述各文本子集合的单句集合；

基于所述各文本子集合的单句集合，对所述各文本子集合中的标注文本进行数据增强，获得多个新增文本；

识别所述多个新增文本的类别标签，并在所述多个新增文本中筛选类别标签与对应的标注文本的类别标签相同的目标文本；

根据所述目标文本和所述文本集合中的标注文本构建目标文本集合。

第二方面，本申请实施例提供了一种模型训练方法，包括：

获取目标文本和文本集合中的标注文本；

基于所述目标文本和所述标注文本训练文本类别识别模型；

其中，所述目标文本包括在多个新增文本中筛选出的类别标签与对应的标注文本的类别标签相同的新增文本；所述多个新增文本基于各文本子集合的单句集合对所述各文本子集合中的标注文本进行数据增强获得，所述各文本子集合基于所述文本集合中的标注文本的类别标签划分获得，所述单句集合通过对所属的文本子集合中的标注文本进行单句切分获得。

第三方面，本申请实施例提供了一种文本类别识别方法，包括：

获取待识别文本；

将所述待识别文本输入基于目标文本和文本集合中的标注文本训练获得的文本类别识别模型进行文本类别识别，输出所述待识别文本的类别标签；

其中，所述目标文本包括在多个新增文本中筛选出的类别标签与对应的标注文本的类别标签相同的新增文本；所述多个新增文本基于各文本子集合的单句集合对所述各文本子集合中的标注文本进行数据增强获得，所述各文本子集合基于所述文本集合中的标注文本的类别标签划分获得，所述单句集合通过对所属的文本子集合中的标注文本进行单句切分获得。

第四方面，本申请实施例提供了一种数据增强处理装置，包括：

集合划分模块，用于按照文本集合中标注文本的类别标签，将所述文本集合划分为与所述类别标签对应的文本子集合；

单句切分模块，用于对各文本子集合中的标注文本进行单句切分，获得所述各文本子集合的单句集合；

数据增强模块，用于基于所述各文本子集合的单句集合，对所述各文本子集合中的标注文本进行数据增强，获得多个新增文本；