[发明专利]话题溯源方法和系统

摘要

话题溯源方法包括输入新闻，抽取其中的时间戳、专有名词和关键词；发现重复新闻，以时间戳最早的一篇新闻代表重复新闻；设置当前话题层次为根层次，创建根类簇，以时间戳最早的新闻为话题根节点；S1构建当前类簇词汇表表示类簇中所有新闻，词汇表不含在同层次其他类簇中出现超过10次的词汇，并排序；计算当前类簇新闻之间相似度，相似度超过阈值的新闻归为一个子类簇；子类簇中时间戳最早的新闻为深一层节点，每个节点代表一个子类簇；S2判断子类簇中是否仅包含一个新闻，如果不是，则产生深一层子类簇和深一层节点，重复步骤S1；否则，将子类簇中的该新闻作为话题树的叶子节点，为每篇新闻产生话题溯源路径。还提供话题溯源系统。

主权项

一种话题溯源方法，其特征在于，所述话题溯源方法包括：输入新闻；抽取所述输入的新闻中的时间戳、专有名词和关键词；发现重复新闻，并以时间戳最早的一篇新闻代表重复的新闻，所述发现重复新闻的算法基于N元文法，并以重叠度大于0.9判定为重复；设置当前话题层次为根层次，创建根类簇，并以时间戳最早的新闻为话题根节点；构建当前类簇的词汇表，所述词汇表不包含在同层次其他类簇中出现超过10次的词汇，并根据出现次数排序；以当前类簇词汇表表示类簇中的所有新闻，并计算当前类簇内新闻之间的相似度；将相似度超过预定相似度阈值的新闻归为一个子类簇；将子类簇中时间戳最早的新闻作为深一层节点，每个节点代表一个子类簇；判断子类簇中是否仅包含一个新闻；对包含多于一个新闻的子类簇，产生深一层子类簇和深一层节点，并重复所述构建当前类簇的词汇表、表示新闻、计算当前类簇内新闻之间的相似度、将相似度超过预定相似度阈值的新闻归为一个子类簇、将子类簇中时间戳最早的新闻作为深一层节点，每个节点代表一个子类簇的步骤；将只包含一个新闻的子类簇中的该新闻作为话题树的叶子节点；从叶子节点开始，为每篇新闻产生话题溯源路径。