[发明专利]一种基于微博数据的话题发现与追踪方法

摘要

本发明公开了一种基于微博数据的话题发现与追踪方法，该方法针对大规模的社交网络信息中潜在的隐主题进行挖掘；首先将海量增长的微博数据按照时序属性进行分块，过滤冗余信息；对时间窗口中的文本内容进行分析和归类从中返回抽取后语义独立的关键性主题描述，提取出不同时间窗口中的话题；最后通过分析时间窗口间话题的继承性与同一性总结出微博话题变化趋势。通过该方法可以展现话题内容的动态发展过程，即话题的产生，发展，高潮，消亡的整个过程，更为准确、全面的描述话题。

主权项

一种基于微博数据的话题发现与追踪方法，其特征在于，分为如下步骤：步骤1：数据预处理；①忽略指向性对话互动消息；②原微博数据扩充；③微博文本式化：对微博文本进行分词、去停用词、去除低频词和高频词的处理；④去稀疏性：针对微博较短的数据文本，对其进行基于词向量的聚类处理；步骤2：时间窗口内话题生成；①将经过预处理后的所有数据信息根据其时间信息离散到时间序列上对应的时间窗口t中；②去稀疏性：微博数据多为短句子甚至短语，针对其较为稀疏的数据内容，对其进行基于词向量的聚类处理；③针对已经切分为时间片的微博文本，依次处理每个时间窗口内的文本集合，运用LDA模型进行话题模型建模，从中抽取出若干个主题T，并分别获得话题内容以及话题强度；其中每个窗口内生成的话题数量可以相同也可以不同，话题数量N由模型选择方法根据每个时间窗口中的微博文本内容动态生成；④由于已经出现过的某个话题在接下来的时间窗口中仍会以一定概率出现，因此利用历史时间窗口中词的分布的后验概率作为当前时间窗口内话题发掘的先验知识；采取基于非条件依赖的先离散方法，对于当前时间窗口t，用时间窗口为t‑1内的词分布与某个加权值w作为时间窗口t中词分布的先验；步骤3：时间窗口间话题关联分析；话题演化主要指的是不同时间段上，具有相同语义的话题随时间的变化趋势，以及旧话题的灭亡，新话题的产生；分析时间窗口间话题内容关联性，包括话题间的继承性与同一性，从而得到话题的演化路径；其中，话题间的继承性通过语义相似度来衡量，同一性通过微博向量信息中的相似度来衡量；通过窗口话题内容和强度的变化，将话题由产生到消亡划描述为若干阶段，形成话题的变化趋势；将具有时序关系和内容关联的若干窗口话题组合成话题，通过窗口话题内容和强度的变化，将一话题由产生到消亡划分为若干阶段，描述出话题的演化过程。