[发明专利]基于时序分布信息和主题模型的新闻事件演化分析方法

摘要

本发明“基于时序分布信息和主题模型的新闻事件演化分析方法”，涉及文本分析领域。首先通过分析新闻报道在时间序列上表现出来的分布特征，并利用K‑Means聚类算法，将语料库按时间划分成几个子语料库；然后利用主题模型依次对每个子语料库进行主题建模，通过Gibbs抽样的方法将模型学习出来，得到每个子语料的主题分布信息；最后通过计算相邻子语料库中两两主题之间的Jensen‑Shannon距离，取距离最小的主题串联起来，被串联起来的主题便是该事件的主主题，每个子语料中除了主主题之外的辅助主题，便是该事件在各个阶段的关注点和新的发展。能更好地刻画新闻预料中事件发展的主线以及在各个阶段爆发出来的新的关注点。

主权项

一种基于时序分布信息和主题模型的新闻事件演化分析方法，其特征在于，首先通过分析新闻报道在时间序列上表现出来的分布特征，并利用K‑Means聚类算法，将语料库按时间划分成几个子语料库；然后利用主题模型依次对每个子语料库进行主题建模，通过Gibbs抽样的方法将模型学习出来，得到每个子语料的主题分布信息；最后通过计算相邻子语料库中两两主题之间的Jensen‑‑Shannon距离，取距离最小的主题串联起来，被串联起来的主题便是该事件的主主题，每个子语料中除了主主题之外的辅助主题，便是该事件在各个阶段的关注点和新的发展；具体包括下列步骤：(1)文档时序分析通过遍历某一事件相关报道的文档集合，生成报道在时间上的分布信息，即每天各有多少数量的相关报道，并在二维空间绘制分布图，横轴表示时间，纵轴表示数量；(2)通过自适应的K‑Means算法，将(1)获得分布数据进行聚类分析，从而将该事件相关报道的文档集合划分成多个子集合，每个子集合拥有不同的时间跨度，并且在时间上拥有连续性，即前一个子集合的结束时间是下一个子集合的开始时间；(3)文档预处理，构建新闻演化分析的语料库给定关于某一事件的相关报道的文档集合，通过词性标注仅保留名词、动词、形容词，去掉停用词，获取文档集合中的有效词作为语料库；(4)词典和文档矩阵构建基于(3)获得的语料库，构建语料库词典，给每个唯一词编号，并用该编号构建文档－词的矩阵，文档矩阵中每一行记录文档中出现的所有词；(5)模型构建和推导基于(2)的划分，分别对每个子集合的构建LDA主题模型，并通过Gibbs抽样算法，推导出每个子集合内的文档－主题分布，以及主题－词分布；(6)绘制主题演化图，发现主主题基于(5)获得的分布信息，分别计算各个相邻子集合内的主题相似度，并将各相邻子集合中相似度最高的主题通过有向边串联起来；通过串联所有子集合后，被串联起来的主题便是主主题，各个子集合中非主主题的其它所有主题便是辅助主题；(7)事件演化发展分析通过(6)获得了主主题和辅助主题，主主题描述了事件的核心焦点，并且在各子集合中保持较高的相似度，辅助主题在各个子集合中有较大的差异性，表现了事件在各个阶段的新发展和焦点。