[发明专利]基于时序分布信息和主题模型的新闻事件演化分析方法

说明书

技术领域

本发明涉及文本分析领域，特别涉及到一种新闻事件主题演化分析的方法。

背景技术

互联网时代，信息以爆炸式的速度增长，但是寻找自己真正需要的信息却变得越来越困难，因此，我们需要新的方法来帮助我们组织和理解这些庞大的信息。主题模型作为一种可以自动组织、理解、搜索和概括大规模电子文档的方法，能够用于挖掘隐藏在文档集合中的主题信息，然后根据文档的主题进行标记，最后可以根据标记来组织、概括和搜索文本。

主题模型(Topic Models)的基本思想是，一个文档是由多个主题混合而成的，而主题是在词库上的一个概率分布。主题模型是一个生成式模型，为了生成一个文档，首先选择一个主题的概率分布，然后对于文档的每个词，根据主题的概率分布随机的选择一个主题，并从该主题中选择一个词。利用统计学的一个方法，我们可以推理出生成该文档集合的主题集合。

主题模型的起源是隐性语义索引(Latent Semantic Indexing,LSI)。LSI并不是概率模型，因此也算不上一个主题模型，但是其基本思想为主题模型的发展奠定了基础。在LSI基础上，Hofmann(1999;2001)提出了pLSI(Probabilistic Latent Semantic Indexing)模型，但pLSI并没有用一个概率模型来模拟文档的产生，只是通过对训练集种的有限文档进行拟合，得到特定文档的主题混合比例。这样就导致了pLSI模型参数随着训练集中的文档数目线性增加，出现过拟合现象，而且对于训练集以外的文档很难分配合适的概率。2003年，Blei等人pLSI基础上加以扩展，提出了LDA(Latent Dirichlet Allocation)模型。LDA模型用服从Drichlet分布的K维隐含随机变量表示文档的主题混合比例，来模拟文档的产生。Dirchlet分布作为多项分布的共轭先验，很好的简化了统计推理问题。

但是LDA模型假设语料库中的所有文档是可交换的，但是在许多实际的语料中，该假设并不合适，如学术期刊，邮件，新闻等等的内容，都是随着时间不断演化的。为了显示地描述和发现主题的动态变化情况，2006年Blei和Lafferty又提出了DTM(Dynamic Topic Model)。在DTM模型中，作者按时间片对文档集合进行划分，然后分别对每个时间片内地文档用LDA模型进行建模，而时间片t的主题是从时间片t-1的主题进化而来的。

但是DTM模型中，每个时间片内的主题数是确定的，并且所有的主题都是由第一个时间片内的主题演变而来，因此该模型比较适合大规模的涵盖多个主题的语料库，这样的情况下，DTM模型能够很好的跟踪每个主题，如何从第一个时间片一步一步演变到最后一个时间片。对于只包含特定新闻事件的语料库，DTM很难发现后续时间片内事件的新变化。

发明内容

本发明目的在于克服现有技术的不足，公开一种基于时序分布信息和主题模型的新闻事件演化分析方法，本发明方法将主题模型应用到新闻事件的主题跟踪和演化分析，同时结合新闻报道在时序上表现出的分布信息，改进主题模型在新闻事件跟踪和演化分析的效果，以更好获取新闻事件发展脉络。

本发明方法技术方案概括为：首先通过分析新闻报道在时间序列上表现出来的分布特征，并利用K-Means聚类算法，将语料库按时间划分成几个子语料库；然后利用主题模型(LDA)依次对每个子语料库进行主题建模，通过Gibbs抽样的方法可以将模型学习出来，得到每个子语料的主题分布信息；最后通过计算相邻子语料库中两两主题之间的Jensen-Shannon距离，取距离最小的主题串联起来，被串联起来的主题便是该事件的主主题，每个子语料中除了主主题之外的辅助主题，便是该事件在各个阶段的关注点和新的发展。

上述技术方案，具体包括实施步骤：

（1）文档时序分析。通过遍历某一事件相关报道的文档集合，生成报道在时间上的分布信息，即每天各有多少数量的相关报道，并在二维空间绘制分布图，横轴表示时间，纵轴表示数量；

（2）通过自适应的K-Means算法，将（1）获得分布数据进行聚类分析，从而将该事件相关报道的文档集合划分成多个子集合，每个子集合拥有不同的时间跨度，并且在时间上拥有连续性，即前一个子集合的结束时间是下一个子集合的开始时间；

（3）文档预处理，构建新闻演化分析的语料库。给定关于某一事件的相关报道的文档集合，通过词性标注仅保留名词（包括专有名词）、动词（及其变形）、形容词（及其变形），去掉停用词等处理，获取文档集合中的有效词作为语料库；