[发明专利]一种基于词共现的文本分类方法及其装置

摘要

本发明涉及计算机技术领域，公开了一种基于词共现的文本分类方法及其装置。所述文本分类方法及其装置，不但应用主题词表和修饰词表两种词表的匹配来进行综合性分类考量，还从宏观词共现和微观词共现两种维度来分析文本词汇与主题词表的共现相关度，由此不但可简化算法，提高分类速度和效率，还可以提高文本分类的准确性，满足文本分类的高精确度要求，便于实际推广和应用。

主权项

1.一种基于词共现的文本分类方法，其特征在于，包括步骤如下：S101.获取主题词表和修饰词表，所述主题词表中包含有K个类别的分类主题词集，所述修饰词表包含有K个类别的分类修饰词集，其中，K为不小于2的自然数，所述主题词表中的类别与所述修饰词表中的类别一一对应；S102.对待分类文本d进行预处理，获取文本特征词集，其中，所述待分类文本d包含有若干篇子集；S103.针对各个类别，一方面将对应的分类主题词集与所述文本特征词集进行匹配，进而利用TF‑IDF统计方法计算所述待分类文本d与分类主题词集的第一共现相关度Sim₁(Q_k^T,d)，具体公式如下：式中，c_i为文本特征词集D中第i个文本特征词，t_k,j为分类主题词集Q_k^T中第_j个主题词，I为文本特征词集D中文本特征词总数，J为分类主题词集Q_k^T中主题词总数，tf(c_i,t_k,j)为在含有主题词t_k,j的子集中文本特征词c_i的词频，itf(c_i,t_k,j)为文本特征词c_i相对于主题词t_k,j的逆向词频，同时利用构建词共现图时的词对共现度计算方法计算待分类文本d与分类主题词集的第二共现相关度Sim₂(Q_k^T,d)，另一方面将对应的分类修饰词集与所述文本特征词集进行匹配，利用语言模型计算所述待分类文本d与分类修饰词集的第三共现相关度Sim₃(Q_k^F,d)，最后根据如下线性公式得到所述待分类文本d与该类别对应的综合共现相关度Sim(Q_k,d)：Sim(Q_k,d)＝b*(a*Sim₁(Q_k^T,d)+(1‑a)*Sim₂(Q_k^T,d))+(1‑b)*Sim₃(Q_k^F,d)式中，Q_k为第k个类别，Q_k^T为第k个类别的分类主题词集，Q_k^F为第k个类别的分类修饰词集，k为介于1～K之间的自然数，a和b分别为介于0～1之间的权重系数；S104.确定所有综合共现相关度的最高值，并查找到与所述最高值对应的类别，将所述待分类文本分类至该类别。