[发明专利]一种基于粗糙集与KNN的文本分类方法及系统

摘要

本发明公开了一种基于粗糙集与KNN(K Nearest Neighbor)算法的文本分类方法及系统，用于对各类文本信息进行分类处理。其采用粗糙集的属性约简算法对待分类的数据进行预处理。然后，通过基于属性序的处理方法和算法进一步解决粗糙集属性约简中的NP‑hard问题。在粗糙集区分矩阵的关键环节正区域计算上利用递减式计算方法，减少等价类的计算工作量；运用去停止词的查表法、位置信息在属性序中的引入及倒排索引的检索方法等进一步来降低系统的运行时间和空间成本。最后基于上述方法构建分类器，分类的准确度、召回率与F值都比较理想，分类速度得到大幅度提升。解决了KNN文本分类器的待分类文本数据维数和计算次数较高，从而导致其耗费的时间和空间成本也很高等问题。

主权项

一种一种基于粗糙集与KNN的文本分类方法及系统，其特征在于包括以下步骤：1)基础准备：分词、去停止词及英语的词形还原，目的为去除无用信息。2)文本表示：用概念词揭示其内容的独立属性，把文本看作向量空间的一个n维向量(t_i1，w(t_i1)；t_i2，w(t_i2)；…；t_in，w(t_in))，其中t_i1；t_i2；…；t_in为表示该文本的n个特征，w(t_ik)，k＝1，2，…，n是该文本对应第k个特征的权重。在已有的TF‑IDF基础上引入位置因子l，目前取3个位置因子，题、摘要与正文分别是3、2和1。$W(t,d)=\frac{(1+{\log }_2\mathrm{tf}(t,d))\×{\log }_2\left(\frac{N-n_t+{\mathrm{tn}}_t}{n_t-{\mathrm{tn}}_t}\right)}{{\sqrt{\underset{t\∈d}{\mathrm{\Σ}}[(1+{\log }_2\mathrm{tf}(t,d))\×{\log }_2\left(\frac{N-n_t+{\mathrm{tn}}_t}{n_t-{\mathrm{tn}}_t}\right)]}}^2}\×l$其中，W(t，d)为词t在文本d中的权重，而tf(t，d)为词t在文本d中的词频，N为训练文本的总数，n_t为训练集中出现t的文本数，分母为归一化因子。tn_t为词条t所在的类中出现词条t的文本数目。3)离散化：根据a(x)的值，由小到大排列实例x，x∈U。然后，设x_i和x_j代表两个相邻实例，开始扫描查找，如果a(x_i)＝a(x_j)，则继续扫描。同时，如果决策相同时d(x_i)＝d(x_j)，仍然继续扫描，否则得到一个断点c，此时，对于每个候选点c，x_i和x_j代表两个相邻的属性值，如果有两个以上的决策值出现的频率相同，则|D_i|＞1，其中D_i代表x_i所属的等价类所对应的决策中出现频率最多的决策值的集合。最后进行选取判断，如果或则不选取此断点，否则选取此断点。4)正区域计算：先分步计算出并同时对X_i进行的判断计算，从而判断出X_i是否属于POS_P(Q)，再将X_i从原文本集(原论域)中删除，并得到新的论域，而不需再计算等价类及等价类的下近似。此算法在计算得出正区域POS_P(Q)的同时也得到了不属于正区域的各样本集的集合NPOS_P(Q)。5)约简与训练计算：首先通过抽签标题和摘要的信息中，即在预处理中的文本表示中，通过计算后的权重很容易将文本分类的条件属性C上定义一个完整的序关系“＜”。然后，为所有属性分别标上1到|C|的下标，得到属性序SO：c₁＜c₂＜…＜c_|C|。再通过模型训练之后再得到实际的序关系。6)索引与查找：每篇文章都有对应的ID号，设计中也包含了对未知文档类型的创建，不用人工进行创建，系统在搜索中会自动对未知或新加文档类型进行ID的生成。定位方式基于关键词来展开。当以关键词进行定位速度快，节约索引空间。7)分类：把不知类别的文档输入到训练好的分类器模型中进行分类。