[发明专利]一种中文微博客的热点话题检测方法

摘要

本发明涉及一种中文微博客的热点话题检测方法，包括以下步骤(1)首先基于一定的垃圾过滤规则对垃圾微博进行过滤；(2)对分布在微博中的关键字进行初步聚合，得到初步表示话题的词集合；检索各条微博最相似的前k条微博，然后利用检索的结果和关键字初步聚合的结果来丰富各条微博特征，得到各条微博特征丰富后的特征向量；(3)基于各条微博特征丰富后的特征向量，利用增量聚类方法对所有微博进行聚类，得到聚类的话题集合，然后通过一定的话题热度计算公式对聚类的话题集合进行话题热度计算，最终得到热点话题列表。该方法能够高效、准确地对中文微博客进行热点话题检测，检测速度快，准确度高，适用范围广，应用性强。

主权项

一种中文微博客的热点话题检测方法，其特征在于，包括以下步骤：(1)首先基于一定的垃圾过滤规则对垃圾微博进行过滤；(2)对分布在微博中的关键字进行初步聚合，得到初步表示话题的词集合；检索各条微博最相似的前k条微博，然后利用检索的结果和关键字初步聚合的结果来丰富各条微博特征，得到各条微博特征丰富后的特征向量；(3)基于各条微博特征丰富后的特征向量，利用增量聚类方法对所有微博进行聚类，得到聚类的话题集合，然后通过一定的话题热度计算公式对聚类的话题集合进行话题热度计算，最终得到热点话题列表；所述步骤(2)中，按如下方法对关键字进行初步聚合：采用如下的关键字相似度计算公式分别计算微博中所有关键字两两之间的相似度：SWij=|WBi∩WBj||WBi∪WBj|]]>其中，SWij表示关键字wi和关键字wj的相似度，WBi表示出现关键字wi的微博集合，WBj表示出现关键字wj的微博集合；如果SWij大于一设定阈值则判定关键字wi和关键字wj属于同一个话题，建立关键字wi和关键字wj的关联关系，否则不建立关键字wi和关键字wj的关联关系；利用得到的所有关联关系构成词关系集合；然后，采用并查集对词关系集合中的关联关系进行合并，得到初步表示话题的词集合；检索各条微博最相似的前k条微博，然后利用检索的结果和关键字初步聚合的结果来丰富各条微博特征，具体方法如下：对于微博B，通过信息检索中的BM25检索模型检索得到与其最相似的前k条微博{B1，B2，……，Bk}，然后将微博B表示为其中：wj表示微博中的关键字，j＝1,2,……,n；n表示微博中所有关键字的个数；v‾j=Σi=0kvji/k]]>其中，vji表示所述前k条微博的第i条微博中关键字wj的权重，vji初始为1或0，vji＝1表示第i条微博中出现关键字wj，vji＝0表示第i条微博中未出现关键字wj；假设经过关键字初步聚合后，关键字wj与其他一个或多个关键字属于同一个话题的词集合，那么如果第i条微博中出现关键字wj，则判定所述其他一个或多个关键字也出现在所述第i条微博中，即第i条微博中所述其他一个或多个关键字的权重也设置为1；最后得到微博B特征丰富后的特征向量