[发明专利]一种小样本文本分类方法、装置、计算机设备和存储介质

说明书

本发明提供一种小样本文本分类方法、装置、计算机设备和存储介质，所述方法包括：获取文本数据集并处理，获得小样本文本数据集；对小样本文本数据集中的文本数据预处理；获得预处理后文本数据的词向量和句向量表征形式；以句子为单元划分句子节点，计算句子节点间的权重；遍历所有句子节点，计算每个句子节点的累加权重至收敛；按累加权重的数值从大到小对句子节点进行排序，将前n位的句子节点对应的句向量作为文本摘要；对文本摘要的句向量中词向量加权，获得最终句向量；利用最终句向量对分类器进行训练，利用文本数据对分类器进行性能测试，实现分类。本方法可以在少量样本数据中实现快速学习，对新样本进行分类，分类结果准确，稳定性强。

技术领域

本发明涉及自然语言处理的技术领域，更具体地，涉及一种小样本文本分类方法、装置、计算机设备和存储介质。

背景技术

目前，自然语言处理技术通过大量数据训练深度模型，在各个领域上均取得了不错的结果。文本分类任务由传统机器学习步入深度学习时代，以CNN和RNN为基础拓展出来的大量模型，均取得了很好的效果。领域数据充斥在互联网的方方面面，但具有正确标签的数据少之又少，并且文本标注又是一件费时费力的工作。如何弱化模型对大量标注数据的依赖，同时保持模型高的分类精度，变得十分必要。

随着小样本学习在图像领域的兴起和流行，小样本学习也逐渐引入到自然语言处理任务。小样本学习模型大体分为三种：基于度量、基于模型和基于优化。小样本学习方法不会依赖大规模的训练样本，从而避免了某些特定应用中数据准备的高昂成本，实现低成本，快速的模型部署。

2021年3月19日公开的中国专利CN112528029A提供了一种文本分类模型处理方法、装置、计算机设备及存储介质，方法包括：获取有标签文本、无标签文本以及各初始分类器；根据有标签文本训练各初始分类器，得到各初始文本分类器；对于每个初始文本分类器，通过其他初始文本分类器对无标签文本进行标注，得到文本标签；根据文本标签对无标签文本进行筛选，得到初始文本分类器的补充训练集；基于预设的迭代算法，通过补充训练集对初始文本分类器进行训练，得到文本分类器，实现对文本的分类，但该方法需要依赖大量的、准确的标注数据，才能对文本分类器进行训练，进而实现对文本的分类，数据成本高昂，不利于快速部署。

发明内容

本发明为克服上述现有技术对文本进行分类时需要大量训练数据的缺陷，提供一种小样本文本分类方法、装置、计算机设备和存储介质，可以在少量样本数据中实现快速学习，对新样本进行分类，数据成本低，分类结果准确，稳定性强，。

为解决上述技术问题，本发明的技术方案如下：

本发明提供一种小样本文本分类方法，所述方法包括以下步骤：

S1：获取文本数据集，对文本数据集进行处理，获得小样本文本数据集；

S2：对小样本文本数据集中的文本数据进行预处理；

S3：用向量形式表征预处理后文本数据中的单词和句子；

S4：以句子为单元划分句子节点，计算句子节点间的权重；

S5：遍历所有句子节点，计算每个句子节点的累加权重，直到每个句子节点的累加权重都收敛；

S6：按照累加权重的数值从大到小对句子节点进行排序，提取前n位的句子节点对应的句向量作为文本摘要；

S7：对文本摘要的句向量中每个词向量加权，获得最终句向量；

S8：选定分类器，利用最终句向量对分类器进行训练，利用文本数据集中的文本数据对分类器进行性能测试，实现分类。

优选地，获得小样本文本数据集的具体方法为：

将文本数据集分为训练集、测试集和验证集；将训练集、测试集和验证集每个集合分为支撑集和查询集，对支撑集中的每个类别抽取定量文本数据，组成小样本文本数据集。