[发明专利]一种不平衡文本分类方法、装置、设备及存储介质

说明书

本申请涉及人工智能技术领域，揭露了一种不平衡文本分类方法、装置、设备及存储介质，包括获取文本训练数据集；基于文本训练数据集，利用对比学习算法对特征提取器进行训练，得到特征提取模型；利用均衡算法对文本训练数据集进行均衡处理，得到均衡数据集；利用特征提取模型对均衡数据集中的各文本进行特征提取，得到特征向量；基于特征向量，对分类器进行训练，得到分类模型；获取待处理文本数据，待处理文本数据经特征提取模型和分类模型处理，得到对应的类别。本申请还涉及区块链技术待处理文本数据及其对应的类别数据存储于区块链中。本申请实现在不平衡的训练集下，训练得到的特征提取模型和分类模型还具有较优的文本分类准确率。

技术领域

本申请涉及人工智能领域，尤其涉及一种不平衡文本分类方法、装置、设备及存储介质。

背景技术

目前，文本分类是自然语言处理领域中最常见、最重要的任务类型。文本分类中，样本的均衡性对最终分类结果有着很大影响，在实际情况下，数据不平衡问题非常普遍，不同类别的数据大多数情况下并非理想的均衡分布，而是不平衡的。如果直接使用这样类别不平衡的样本去进行学习、分类，模型最后在出现频率高的类别样本上学习效果好，而在出现频率低的类别样本上会出现学习效果差和泛化效果差的问题。在现有技术中，常通过重采样、数据合成或重加权的方式来解决不均衡的样本，重采样、数据合成或重加权方式虽能解决一部分数据不平衡的问题，但这些方法的表现并不显著。因此，如何在不平衡训练集的基础上训练得到的分类器，所述分类器能提高文本分类的准确率成为了亟待解决的问题。

发明内容

本申请提供了一种不平衡文本分类方法、装置、设备及存储介质，以解决现有技术中基于不平衡训练集训练得到的分类模型分类效果差的问题。

为解决上述问题，本申请提供了一种不平衡文本分类方法，包括：

获取文本训练数据集；

基于所述文本训练数据集，利用对比学习算法对特征提取器进行训练，得到特征提取模型；

利用均衡算法对所述文本训练数据集进行均衡处理，得到均衡数据集；

利用所述特征提取模型对所述均衡数据集中的各文本进行特征提取，得到对应的特征向量；

基于所述特征向量，对分类器进行训练，以得到分类模型；

获取待处理文本数据，所述待处理文本数据经所述特征提取模型处理，得到对应的待处理向量，所述待处理向量经所述分类模型处理，得到所述待处理文本数据对应的类别。

进一步的，在获取文本训练数据集之前，还包括：

对每一文本数据进行数据增广，得到对应的增广数据，并将所述文本数据和增广数据存储至所述文本训练数据集中；

所述利用对比学习算法对特征提取器进行训练包括；

基于所述增广数据，通过将对比学习算法结合到所述特征提取器中，使所述特征提取器得到的同源的所述增广数据对应的第一特征向量相互聚集，不同源的所述增广数据对应的第一特征向量相互远离。

进一步的，所述通过将对比学习算法结合到所述特征提取器中，使所述特征提取器得到的同源的所述增广数据对应的第一特征向量相互聚集，不同源的所述增广数据对应的第一特征向量相互远离包括：

利用所述对比学习算法中的噪声对比估计函数和内积函数计算所述特征提取器的损失函数，使得所述同源的第一特征向量在嵌入空间中聚集，不同源的第一特征向量在所述嵌入空间中远离。

进一步的，所述利用均衡算法对所述文本训练数据集进行均衡处理包括：

获取所述文本训练数据集中各类别及其对应的文本数据量；

对各所述类别对应的文本数据量进行平均值计算，得到平均数据量；