[发明专利]一种面向实时新闻内容的流式话题演化跟踪方法

摘要

本发明公开了一种面向实时新闻内容的流式话题演化跟踪方法，首先把实时采集的新闻内容，按时间段进行分批，对每一批新闻内容采用LDA方法挖掘初步话题结果；接着，在这一批新闻内容内部进行命名实体识别，并计算话题与实体间关联，以此更新实体库中的实体链接关系；然后，通过话题内部词项聚类，得到话题‑话题内类簇对应关系，并将话题结果存入话题库；最后，计算话题及其内部类簇的热度信息，并根据热度信息对LDA话题挖掘参数进行动态更新，供下一批新闻内容的话题演化跟踪使用。本发明可挖掘实时新闻内容中的话题特征以及话题内词项的类簇特征，充分利用话题间以及话题内不同类簇间的差异性，对LDA话题挖掘参数进行动态更新。

主权项

1.一种面向实时新闻内容的流式话题演化跟踪方法，其特征在于，包括如下步骤：步骤1，初步话题挖掘：对于从互联网实时采集到的新闻内容，先按时间段对其进行分批，然后逐批采用LDA方法初步挖掘出K个话题，K为正整数；步骤2，话题与实体关联：引入命名实体对LDA话题进行表征，通过实体将多个时间段聚类的话题相串联；步骤3，话题内词项聚类：结合命名实体，利用词项在文档中的共现性特征，实现了话题内词项聚类；步骤4，话题及其内部类簇热度信息提取：引入话题热度作为话题强度的量纲，并采用数据集内所有文档对该话题的贡献度来衡量话题热度；影响文档对话题贡献度的因素为文档的话题集中度和文档到达时间；话题内类簇的热度信息提取考虑两个因素：话题热度和话题内类簇词频之和与话题词频之和的比值；步骤5，话题演化跟踪：通过当前话题及其内部类簇的热度信息对下一时间片段LDA话题挖掘模型中求解话题在单词上概率分布的超参数进行调节，实现了话题的有效跟踪。