[发明专利]一种基于拓扑特征扩展的知识主题短文本层次分类方法

摘要

本发明一种基于拓扑特征扩展的知识主题短文本层次分类方法，能够有效的对知识主题短文本进行组织和管理，解决互联网海量知识短文本造成的信息过载问题。其包括以下步骤：1)初始文本特征构建；2)基于拓扑特征的短文本特征扩展；3)异构知识主题间的迁移学习方法。通过采集多个知识主题对应的短文本长度做初步的量化统计和分析，明确了知识主题短文本文本特征的稀疏程度。通过短文本之间的词共现情况构建并分析知识主题短文本网络，最终选取社区特征有效扩展文本特征。通过计算知识主题之间的KL散度来度量域的差异性，进而选择辅助数据；将层次分类问题转换为多分类问题，有效的对知识主题短文本进行组织和管理。

主权项

1.一种基于拓扑特征扩展的知识主题短文本层次分类方法，其特征在于，包括以下步骤：/n1)初始文本特征构建；/n1-1)对短文本进行预处理，构建短文本文件系统；/n1-2)以短文本文件系统作为整体，计算其初始熵值；/n以词的出现及不出现为条件，计算词在系统中的条件熵；将短文本文件系统的初始熵和条件熵的差值作为信息增益，并以信息增益作为指标对词进行排序，选择大于一定阈值的词作为特征，即特征词，从而构建向量空间模型，得到特征空间；/n1-3)将短文本文本内容映射到特征空间，得到用特征词表示的短文本；通过TF-IDF方法计算特征词的权重，从而得到短文本的初始文本特征向量；/n2)基于拓扑特征的短文本特征扩展；/n2-1)短文本网络的构建；输入某一知识主题下短文本集合以及短文本之间的共现词阈值alpha；统计短文本包含特征词的数量并存放在二维数组中，然后遍历后续短文本并统计文件之间的共现词数量，完成和后续文本比较后，如果数组中任一维度的数值不小于alpha，那么认为该文本和相应文本之间有关联；最后保存根据共现词阈值alpha构建的网络拓扑结构，即以该知识主题下短文本为节点的网络结构；/n2-2)短文本网络的修复；将知识主题下网络节点分为两部分：一是孤立节点集合S