[发明专利]基于时序分布信息和主题模型的新闻事件演化分析方法

权利要求书

1.一种基于时序分布信息和主题模型的新闻事件演化分析方法，其特征在于，首先通过分析新闻报道在时间序列上表现出来的分布特征，并利用K-Means聚类算法，将语料库按时间划分成几个子语料库；然后利用主题模型依次对每个子语料库进行主题建模，通过Gibbs抽样的方法将模型学习出来，得到每个子语料的主题分布信息；最后通过计算相邻子语料库中两两主题之间的Jensen--Shannon距离，取距离最小的主题串联起来，被串联起来的主题便是该事件的主主题，每个子语料中除了主主题之外的辅助主题，便是该事件在各个阶段的关注点和新的发展。

2.如权利要求1所述的基于时序分布信息和主题模型的新闻事件演化分析方法，其特征在于，具体包括下列步骤：

（1）文档时序分析

通过遍历某一事件相关报道的文档集合，生成报道在时间上的分布信息，即每天各有多少数量的相关报道，并在二维空间绘制分布图，横轴表示时间，纵轴表示数量；

（2）通过自适应的K-Means算法，将（1）获得分布数据进行聚类分析，从而将该事件相关报道的文档集合划分成多个子集合，每个子集合拥有不同的时间跨度，并且在时间上拥有连续性，即前一个子集合的结束时间是下一个子集合的开始时间；

（3）文档预处理，构建新闻演化分析的语料库

给定关于某一事件的相关报道的文档集合，通过词性标注仅保留名词（包括专有名词）、动词（及其变形）、形容词（及其变形），去掉停用词等处理，获取文档集合中的有效词作为语料库；

（4）词典和文档矩阵构建

基于（3）获得的语料库，构建语料库词典，给每个唯一词编号，并用该编号构建文档－词的矩阵，文档矩阵中每一行记录文档中出现的所有词；

（5）模型构建和推导

基于（2）的划分，分别对每个子集合的构建LDA主题模型，并通过Gibbs抽样算法，推导出每个子集合内的文档－主题分布，以及主题－词分布；

（6）绘制主题演化图，发现主主题

基于（5）获得的分布信息，分别计算各个相邻子集合内的主题相似度，并将各相邻子集合中相似度最高的主题通过有向边串联起来；通过串联所有子集合后，被串联起来的主题便是主主题，各个子集合中非主主题的其它所有主题便是辅助主题；

（7）事件演化发展分析

通过（6）获得了主主题和辅助主题，主主题描述了事件的核心焦点，并且在各子集合中保持较高的相似度，辅助主题在各个子集合中有较大的差异性，表现了事件在各个阶段的新发展和焦点。

3.根据权利要求2所述的基于时序分布信息和主题模型的新闻事件演化分析方法，其特征在于，所述步骤(2)进一步包括下列具体的步骤:

（21）设置初始聚类数量为2，最大迭代次数max_k以及阀值t；

（22）若聚类数量小于max_k，运行K-Means算法，获得每个点的类别以及到聚类中心的距离；

（23）计算当前每个聚类中所有点到该聚类中心的平均距离(mean distance,md)；

（24）计算所有类的平均距离的加权平均值(weighted mean distance,wmd)；

（25）若当前wmd与前一次的wmd的差值小于阀值t，则结束迭代；否则，聚类数量加1，并重新执行步骤b)；若聚类数量等于max_t，也结束迭代；

（26）获取最优聚类数量K，以及各个点的类标。

其中K-Means算法在计算距离时采用的是欧式距离，wmd的计算公式如下：

wmd=Σi=1nmean distance of cluster in]]>

。

4.根据权利要求2所述的基于时序分布信息和主题模型的新闻事件演化分析方法，其特征在于，所述步骤（6）中所定义的主主题和辅助主题的详细定义如下：

（61）主主题是贯穿在所有子集合中，在不同的子集合中变化很小，有很高的相似性，它是对事件高度的概括和提炼；

（62）在各个子集合中除了主主题之外的所有主题，叫做辅助主题；在不同的子集合中，辅助主题随着时间变化而变化，它是对事件在不同时间段最新的发展和变化的概括；

主题的发现，是通过计算相邻子集合中两两主题之间的距离，距离最小的两个主题即主主题；主题之间的距离用Jensen-Shannon距离表示，计算公式表示如下：

DJS(P||Q)=12DKL(P||M)+12DKL(Q||M)]]>

其中D_KL(Q||M)表示分布Q和M之间的KL距离。