[发明专利]一种文本分类方法及计算装置

说明书

本申请实施例公开了一种文本分类方法及计算装置，用于解决不同类间样本不均衡的问题以及特征筛选的问题，可以显著提升模型的文本分类效果。本申请实施例方法包括：获取当前场景中N个颜值区的文本信息和M个游戏分区的文本信息，N和M为大于0的整数，N与M的差值的绝对值小于预置阈值；从所述N个颜值区的文本信息和所述M个游戏分区的文本信息中选择A个文本信息；从所述第一特征、所述第二特征和所述第三特征中选择至少两个特征作为候选特征；根据所述候选特征和特征选择公式，选择信息增益最大的特征对决策树的节点进行分裂，生成随机森林模型。

技术领域

本申请涉及大数据领域，尤其涉及一种文本分类方法及计算装置。

背景技术

在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。随机森林实际上是一种特殊的套袋(bagging)方法，它将决策树用作bagging中的模型。首先，用bootstrap方法生成m个训练集，然后，对于每个训练集，构造一颗决策树，在节点找特征进行分裂的时候，并不是对所有特征找到能使得指标(如信息增益)最大的，而是在特征中随机抽取一部分特征，在抽到的特征中间找到最优解，应用于节点，进行分裂。随机森林的方法由于有了bagging，也就是集成的思想在，实际上相当于对于样本和特征都进行了采样。

但是，在做基于随机森林算法的做文本分类任务时，会有两个常见问题：1、类别间的样本不均衡会导致分类的结果偏向类别样本多的类别；2、特征的选取决定的算法的执行速度及最终效果。

发明内容

本申请实施例提供了一种文本分类方法及计算装置，用于解决不同类间样本不均衡的问题以及特征筛选的问题，可以显著提升模型的文本分类效果。

有鉴于此，本申请第一方面提供了一种文本分类方法，可以包括：

获取当前场景中N个颜值区的文本信息和M个游戏分区的文本信息，N和M为大于0的整数，N与M的差值的绝对值小于预置阈值；

从所述N个颜值区的文本信息和所述M个游戏分区的文本信息中选择A个文本信息，其中，所述A个文本信息中的每个文本信息包括第一特征、第二特征和第三特征，所述第一特征包括句子长度,所述第二特征包括句子中词语最大逆文本频率指数值，所述第三特征包括句子中词语最大词频值；

从所述第一特征、所述第二特征和所述第三特征中选择至少两个特征作为候选特征；

根据所述候选特征和特征选择公式，选择信息增益最大的特征对决策树的节点进行分裂，生成随机森林模型。

可选的，在本申请的一些实施例中，所述获取当前场景中N个颜值区的文本信息和M个游戏分区的文本信息之前，所述方法还包括：

获取X1个颜值区的原文本信息；

当X1与M的差值的绝对值大于所述预置阈值时，从所述X1个颜值区的原文本信息中选择X2个颜值区的文本信息；

根据所述X2个颜值区的文本信息和样本采样公式，计算得到X3个颜值区的新文本信息；

确定所述X3个颜值区的新文本信息与所述X1个颜值区的原文本信息的和为所述N个颜值区的文本信息。

可选的，在本申请的一些实施例中，所述根据所述X2个颜值区的文本信息和样本采样公式，计算得到X3个颜值区的新文本信息，包括：

根据所述X2个颜值区的文本信息和欧式距离，确定X3个颜值区的近邻文本信息；

根据所述X3个颜值区的近邻文本信息和所述样本采样公式，计算得到所述X3个颜值区的新文本信息。

可选的，在本申请的一些实施例中，所述获取当前场景中N个颜值区的文本信息和M个游戏分区的文本信息之前，所述方法还包括：