[发明专利]一种流式数据主题挖掘方法及其系统

说明书

本发明涉及一种流式数据主题挖掘方法及其系统，该挖掘方法包括：对结构化数据进行筛选，得到主题数据，提取主题数据的主题实体和主题关键词，分别生成主题实体集合和主题关键词集合；提取候选新闻数据的新闻实体和新闻关键词，分别生成新闻实体集合和新闻关键词集合；分别计算得到实体相关度、关键词相关度和核心词相关度；计算候选新闻数据与主题数据的新闻主题相似度，并将新闻主题相似度大于预设阈值的候选新闻数据导入合格新闻数据集合。本发明能够从海量的实时流式数据中准确找到用户关注的特定主题的相关新闻，保证了该主题下新闻的实时性、准确性，以及该主题下新闻动态的变化过程，并对新闻内容进行了分析。

技术领域

本发明涉及信息检索技术领域，尤其涉及一种流式数据主题挖掘方法及其系统。

背景技术

目前随着我国新闻事业和信息技术的飞速发展，新闻信息的表现形式和发布渠道日趋多样化，如何有效地组织和管理日益庞大的结构化、非结构化数据，充分地整合、挖掘并利用丰富的新闻信息资源，拓展新闻信息服务的新领域、新境界，就成为新闻传媒业界面临的严峻挑战。而如何通过网络大数据及时、准确、科学地捕捉网上值得关注的、敏感性信息和主题已成为当前信息研究与报送业务面临的主要问题之一。特别是媒体行业正在普遍进行数据中心的建设，一切以新闻数据为中心的运行模式已经接近于数据信息的工业化生产，新闻的制作已经是采写编辑在前、存储整理在中，分析挖掘在后的全新生产模式。如何让新闻增值，让静态数据产生动态效益，已经成为媒体行业目前最为关心的问题。

发明内容

(一)要解决的技术问题

本发明实施例要解决的技术问题是解决现有技术中新闻数据量大，难以从中有效的寻找所需新闻数据的问题。

(二)技术方案

为了解决上述技术问题，本发明实施例提供了一种流式数据主题挖掘方法及其系统，包括：

根据主题核心词集合对结构化数据进行筛选，得到主题数据，提取所述主题数据的主题实体和主题关键词，分别生成主题实体集合和主题关键词集合；

提取候选新闻数据的新闻实体和新闻关键词，分别生成新闻实体集合和新闻关键词集合；

根据所述新闻实体集合、新闻关键词集合、主题实体集合、主题关键词集合和主题核心词集合分别得到实体相关度、关键词相关度和核心词相关度；

根据实体相关度、关键词相关度和核心词相关度得到所述候选新闻数据与所述主题数据的新闻主题相似度，并将所述新闻主题相似度大于预设阈值的所述候选新闻数据导入合格新闻数据集合。

在上述技术方案的基础上，本发明实施例还可以做如下改进。

可选的，所述根据主题核心词集合对所述结构化数据进行筛选，得到主题数据之前，该挖掘方法还包括：

对接收到的流式数据进行数据清洗、数据补齐和黑白名单过滤操作，得到属性一致的所述结构化数据，并进行分布式存储。

可选的，所述提取候选新闻数据中的新闻实体和新闻关键词，分别生成新闻实体集合和新闻关键词集合之前，该挖掘方法还包括：

根据主题核心词集合对新闻数据进行倒排索引过滤，得到相关新闻数据；

根据所述主题数据对所述相关新闻数据进行局部敏感哈希过滤，得到所述候选新闻数据。

可选的，通过命名实体识别提取所述主题数据的实体包括的主题数据的发生地和参与者，得到主题数据的发生地和参与者集合；提取所述候选新闻数据的新闻实体包括的新闻的发生地和参与者，得到新闻的发生地和参与者集合；实体相关度包括：发生地相关度和参与者相关度；

所述发生地相关度的计算公式为：