[发明专利]一种基于拓扑特征扩展的知识主题短文本层次分类方法

说明书

本发明一种基于拓扑特征扩展的知识主题短文本层次分类方法，能够有效的对知识主题短文本进行组织和管理，解决互联网海量知识短文本造成的信息过载问题。其包括以下步骤：1)初始文本特征构建；2)基于拓扑特征的短文本特征扩展；3)异构知识主题间的迁移学习方法。通过采集多个知识主题对应的短文本长度做初步的量化统计和分析，明确了知识主题短文本文本特征的稀疏程度。通过短文本之间的词共现情况构建并分析知识主题短文本网络，最终选取社区特征有效扩展文本特征。通过计算知识主题之间的KL散度来度量域的差异性，进而选择辅助数据；将层次分类问题转换为多分类问题，有效的对知识主题短文本进行组织和管理。

技术领域

本发明涉及数据挖掘领域，具体为一种基于拓扑特征扩展的知识主题短文本层次分类方法。

背景技术

随着科学技术的发展，人类知识爆炸式增长，互联网上各类开放知识源已成为人们交流信息及获取知识的重要来源，一方面极大地促进了知识的传播和应用，但同时也加剧了知识碎片化现象。知识碎片化现象容易引发学习者认知过载，导致“注意力分散效应”，也容易造成学习者认知偏差等问题。由于各开放知识源知识载体是“短文本”，所以如何有效的对短文本进行组织和管理是解决知识碎片化现象问题的关键，是有重要意义的一项工作。

为了有效组织和管理互联网上的海量知识主题短文本，通常按照知识体系结构对短文本进行分类，以更好地方便学习者快速认识到知识主题的各个分面，以及学习各个分面上短文本的内容，对知识主题各个分面有更加深入的认识，从而高效地完成对知识主题的认知过程，提高学习者的学习效率。基于知识体系结构具有层次特征，多分类方法是解决层次分类问题的主要方法之一，因此我们将知识主题短文本分类问题转换成多分类问题。

申请人经过查新，没有找到有关对知识主题短文本进行层次分类的专利，因而检索了一篇与本专利相关的已授权的中国专利：一种基于特征扩展的中文短文本分类方法，授权公告号为ZL201210446997.4；在该专利中，发明人提供一种基于特征扩展的中文短文本分类方法，通过从长文本语料库中提取信息来丰富短文本所携带的信息量。但该发明所述方法针对对象并非知识领域的短文本，没有考虑到知识领域知识主题异构性问题，以及知识体系结构的层次特征。

发明内容

针对现有技术中存在的问题，本发明提供一种基于拓扑特征扩展的知识主题短文本层次分类方法，能够有效的对知识主题短文本进行组织和管理，解决互联网海量知识短文本造成的信息过载问题。

本发明是通过以下技术方案来实现：

一种基于拓扑特征扩展的知识主题短文本层次分类方法，包括以下步骤：

1)初始文本特征构建；

1-1)对短文本进行预处理，构建短文本文件系统；

1-2)以短文本文件系统作为整体，计算其初始熵值；

以词的出现及不出现为条件，计算词在系统中的条件熵；将短文本文件系统的初始熵和条件熵的差值作为信息增益，并以信息增益作为指标对词进行排序，选择大于一定阈值的词作为特征，即特征词，从而构建向量空间模型，得到特征空间；

1-3)将短文本文本内容映射到特征空间，得到用特征词表示的短文本；通过TF-IDF方法计算特征词的权重，从而得到短文本的初始文本特征向量；

2)基于拓扑特征的短文本特征扩展；

2-1)短文本网络的构建；输入某一知识主题下短文本集合以及短文本之间的共现词阈值alpha；统计短文本包含特征词的数量并存放在二维数组中，然后遍历后续短文本并统计文件之间的共现词数量，完成和后续文本比较后，如果数组中任一维度的数值不小于alpha，那么认为该文本和相应文本之间有关联；最后保存根据共现词阈值alpha构建的网络拓扑结构，即以该知识主题下短文本为节点的网络结构；