[发明专利]文本分类模型训练方法、文本分类方法及其装置

权利要求书

1.一种文本分类模型的训练方法，其特征在于，所述方法包括：

通过计算训练文本集合中各候选词的词频-逆文档频率和互信息，筛选出若干特征词；

基于各所述特征词，根据遗传算法训练文本分类模型。

2.根据权利要求1所述的训练方法，其特征在于，所述通过计算训练文本集合中各候选词的词频-逆文档频率和互信息，筛选出若干特征词包括：

根据所述词频-逆文档频率和所述互信息计算各所述候选词的特征值，所述特征值大于预设特征值的相应候选词将作为特征词。

3.根据权利要求2所述的训练方法，其特征在于，其所述特征值的计算方法如下：

C_i＝α×tfidf_i-β×I_i

其中，C_i为词语i的特征值，tfidf_i为词语i的词频-逆文档频率，I_i为词语i的互信息，α为tfidf_i的权重，β为I_i的权重，α+β＝1，α>0，β>0。

4.根据权利要求3所述的训练方法，其特征在于，所述训练样本集合包括训练集和验证集，所述基于各所述特征词，根据遗传算法训练文本分类模型包括：

根据各所述特征词生成若干特征词样本；

采用所述训练集和所述特征词样本构建分类模型；

采用所述训练集和验证集计算各所述特征词样本的适应度，根据各所述适应度，通过遗传算法对各所述特征词样本进行迭代训练，生成最优的文本分类模型。

5.根据权利要求4所述的训练方法，其特征在于，

每个所述特征词样本包含至少一个所述特征词，且所包含的特征词均不相同。

6.根据权利要求5所述的训练方法，其特征在于，所述采用所述训练集和验证集计算各所述特征词样本的适应度，根据各所述适应度，通过遗传算法对各所述特征词样本进行迭代训练，生成最优的文本分类模型包括：

步骤A：将包含各所述特征词样本的群体作为第一代群体，利用所述验证集和所述训练集，分别计算各所述特征词样本的适应度；

步骤B：根据与所述适应度成正比的概率，确定父母本，所述父母本经交叉、变异生成各子代样本；

步骤C：用各所述子代样本替换适应度小于第二设定值的特征词样本，并生成第二代群体；

步骤D：根据每一代群体的适应度平均值，计算总体标准偏差d，所述总体标准偏差d与偏差设定值比较，当小于所述偏差设定值时，停止迭代，将最终生成的群体中适应度最大的特征词样本的分类模型作为最优分类模型输出，否则重复步骤A-C的迭代，d的计算公式如下：

其中，f_i为一代群体的适应度的平均值，u为m代全部群体适应度的均值，m为当前迭代次数。

7.根据权利要求6所述的训练方法，其特征在于，针对步骤A，根据训练集准确率、验证集准确率计算各所述特征词样本的适应度，计算公式如下：

f_i＝mean(accu_train,accu_valid)_i-stddev(accu_train,accu_valid)_i-p_conv_i

其中，accu_train为训练集准确率，accu_valid为验证集准确率，p_conv_i为当前迭代生成的群体中最大与最小准确率差值的平方。

8.一种文本分类方法，其特征在于，包括：

利用如权利要求1-7任一项所述的训练方法训练生成的最优文本分类模型，对待分类文本进行分类。

9.根据权利要求8所述的分类方法，其特征在于，还包括：对所述分类配置若干子分类，根据所述子分类的关键词确定所述待分类文本的子分类类型，所述子分类配置有对应的关键词；

所述根据所述子分类的关键词确定所述待分类文本的子分类类型包括：

将所述待分类文本中的词语分别与所述关键词比对，若有匹配的关键词则返回相应的子分类类型；若无匹配的关键词则子分类类型为空。