[发明专利]基于转发关系的微博聚类方法

摘要

本发明公开了基于转发关系的微博聚类方法，该方法针对微博文本特征稀疏造成的微博文本聚类效果不佳的问题，提出一种基于微博转发关系的微博文本聚类方法。该方法根据微博之间存在的转发关系以及转发文本之间的主题相似性，构建了微博转发关系有向图。该图将转发关系作为单向边，使用微博作为节点构成图，将相互连通的部分视作一个小簇，称之为转发关系簇，在这个小簇中所有微博有同一个最初的转发源。本发明方法将转发关系簇作为聚类的初始对象，采用基于最大最小距离和SSE的自适应聚类算法进行微博文本聚类，提高了文本特征稀疏的微博文本的聚类准确率。

主权项

1.一种基于转发关系的微博聚类方法，其特征在于，所述方法包含如下步骤：步骤1：提取微博文本中的hashtag信息；步骤2：使用ICTCLAS分词系统对微博文本和标签进行分词，并去除非实词和停用词；步骤3：基于特征权重计算方法，计算每个特征词在每条微博中的权重；步骤4：将微博作为结点，转发关系作为单向边，基于微博的转发关系，构造转发关系矩阵，构造转发关系有向图；步骤5：基于转发关系构造聚类的初始簇，包括：步骤5.1：输入微博之间使用转发关系构成的图，所有微博节点的集合S；步骤5.2：对于每个入度为0的微博节点，以其为起点建立一个簇并加入集合C中；步骤5.3：对于C中的每一个簇的起始节点node使用广度优先遍历BFS并将遍历到的所有节点加入对应node的簇中；步骤5.4：输出具有转发关系的微博形成的小簇的集合C；步骤6：基于初始簇，使用基于最大最小距离和SSE的自适应聚类算法，并使用余弦距离度量文本间的相似度，进行聚类；步骤7：输出聚类的结果；所述步骤3中的特征权重weigh_ij定义为：weigh_ij＝ht_weigh_ij×w_ij                                (1)其中ht_weigh_ij表示一个特征词的词标签权重，w_ij表示特征词在微博d_j中的基于词频‑反文档频率的权重；ht_weigh_ij定义为：式(2)中，第一个式子表示的是特征词w_i在微博d_j的hashtag中时w_i的词标签权重，第二个表示微博d_j的hashtag中不存在w_i时的词标签权重；htf_ij表示w_i在hashtag中的相对词频，hN表示包含hashtag的微博数量，hn_i表示hashtag中包含w_i的微博数量，常数λ是在大量的实验后根据经验确定的；w_ij定义为：式(3)中，tf_ij表示特征词w_i在微博d_j中的相对词频，其中f_j(w_i)表示词w_i在微博d_j中出现的次数，n(d_j)表示微博d_j包含的特征词的个数；idf_i表示特征词w_i的逆文档频率，其中n_i为包含特征词w_i的微博数量，N为微博总数。