[发明专利]一种基于混合距离依赖中餐馆过程的层次化主题建模方法

权利要求书

1.一种基于混合距离依赖中餐馆过程的层次化主题建模方法，其特征在于包括如下步骤：

1)对新闻文档数据进行预处理，提取事件要素实体词，包括时间、地点、人物；

2)根据实体词和文档内容计算出每两个文档之间的相似度，根据基于相对熵的方法计算出每两个事件之间的相似度，事件是指属于同一个类的所有文档；

3)利用以上两种相似度，结合混合距离依赖的中餐馆过程先验，通过坍缩吉布斯采样，对每个文档选择与其最相似的文档并连接，即得到每个文档的链接，如果选择的文档是自己则进一步选择与该文档最相似的一个主题；

4)重复步骤3)迭代地确定所有链接和主题；

5)根据链接和主题的最终分配结果得到事件的发展结构图及其所属的主题。

2.根据权利要求1所述的一种基于混合距离依赖中餐馆过程的层次化主题建模方法，其特征在于所述的步骤1)包括：

(1)采用自然语言处理工具对文档进行分词，以得到文档中出现过的词；

(2)去除其中的停词以及频数过低的生僻词，组成词汇表；

(3)根据词汇表将文本文档转化成向量；

(4)采用命名实体提取工具提取出文档中出现的实体及其相关属性。

3.根据权利要求1所述的一种基于混合距离依赖中餐馆过程的层次化主题建模方法，其特征在于所述的步骤2)包括：

(1)定义文档x和文档y的相似度为其中e_xy表示在文档x和文档y中出现过的共有实体的数量，|x|_e表示文档x中出现过的所有实体的数量；

(2)定义dS_x,y为文档x和文档y基于共现实体的距离，且满足

(3)用一个带权重的窗口衰减方程作为距离dS_x,y上的衰减方程：

F_S(x,y,dS_x,y)＝1[0<t_x-t_y<a]dS_x,y，其中1[]是一个示性函数，t_x是文档x的时间戳，a是时间窗口大小；

(4)文档的集合构成了事件S_i，将它定义为一个平滑多项式分布，用相对熵的方法来度量它们之间的相似度，定义为它们之间的距离，其中f_T(S_i,S_j)是基于对称相对熵的距离函数，如对称KL距离