[发明专利]一种不均衡文本集的特征选择和权重计算方法

摘要

本发明提出了一种不均衡文本集的特征选择和权重计算方法，属于文本信息处理领域，具体是涉及不均衡文本集的特征选择和权重计算方法。针对不均衡文本数据的分类问题，本发明提出一种特征选取和权重计算方法与系统。本发明结合类别区分度和平均词频因素，通过改进卡方统计量方法进行特征选取，同时对常用的特征权重计算方法进行改进，并在其基础上提出了TF‑IDF的权重计算方法，本发明提供的方法在处理不均衡数据集问题时效果要优于传统的特征选择方法，对于有效提高分类准确率是有效可行的。

主权项

一种不均衡文本集的特征选择和权重计算方法，按以下步骤实现：步骤1：对文本集进行文本预处理，提取语义信息，方法如下：步骤1.1：利用中文词法处理软件，对文件集合进行分词和词性标注处理；步骤1.2：过滤掉分词处理后的停用词，包括语气助词、介词、副词；步骤2：进行文本集的特征选择计算，方法如下：对每条预处理后的文本数据集进行如下处理；步骤2.1：计算特征t与类别c的CHI统计量；包含特征t且属于类别ci，记为A；包含特征t且不属于类别记为B；不包含特征且属于类别ci，记为C；不包含特征且不属于类别记为D；特征t与类别c的CHI统计量计算公式为：χ2(t,c)=N×(AD-CB)2(A+C)×(B+D)×(A+B)×(C+D),AD-BC>00,AD-BC≤0]]>其中N是文本集中类别的总数；步骤2.2：计算倒转类别频率ICF；其中M是文本集C中类别的总数，mt是C中出现特征t的类别的数目；ICFt,C=lnMmt+1]]>步骤2.3：进行改进的卡方统计量计算,方法如下：χ2(t,c)=N×(AD-CB)2(A+C)×(B+D)×(A+B)×(C+D)×ICFt,C×TCiTCi‾,AD-BC>00,AD-BC≤0]]>其中N是文本集中类别的总数，特征t在正类中出现的平均词频TCi和其在负类中出现的平均词频的比值衡量了特征与类别的相关度，其值越大说明特征t与正类的相关度越大；步骤3：特征词权重计算；对每个文本中的特征词进行权重计算；步骤3.1：计算λ因子，方法如下：λ(t,ci)=DF(t,ci)D(ci)]]>其中，DF(t,ci)表示ci类中包含特征项t的文本数，D(ci)表示ci类中的文本总数，λ即为某一类别中包含特征词t的文本数占该类文本总数的比例；步骤3.2：计算TF‑IDF*λIG数值，方法如下：w(ti,dj)=tfij*log(Nni)*λIGΣi∈dj[tfij*log(Nni)*λIG]2]]>其中参数t表示特征，N是文本集中类别的总数，ni是文本集中出现特征t的类别的数目，IG是特征t的信息增益，tfij表示一个特征ti在某个文本dj中出现的次数，w(ti,dj)取值范围为[0,1]之间；步骤3.3：计算TF‑IDF*λCHI，方法如下：w(ti,dj)=tfij*log(Nni+L)*λCHIΣt∈dj[tfij*log(Nni+L)*λCHI]2]]>其中参数t表示特征，N是文本集中类别的总数，ni是文本集中出现特征t的类别的数目，tfij表示一个特征ti在某个文本dj中出现的次数，L为常数，根据实验来确定，CHIi是t的卡方统计量，w(ti,dj)取值范围为[0,1]之间；步骤4：分类结果输出。