[发明专利]一种流式数据主题挖掘方法及其系统

权利要求书

1.一种流式数据主题挖掘方法，其特征在于，包括：

根据主题核心词集合对结构化数据进行筛选，得到主题数据，提取所述主题数据的主题实体和主题关键词，分别生成主题实体集合和主题关键词集合；

提取候选新闻数据的新闻实体和新闻关键词，分别生成新闻实体集合和新闻关键词集合；

根据所述新闻实体集合、新闻关键词集合、主题实体集合、主题关键词集合和主题核心词集合分别得到实体相关度、关键词相关度和核心词相关度；

根据实体相关度、关键词相关度和核心词相关度得到所述候选新闻数据与所述主题数据的新闻主题相似度，并将所述新闻主题相似度大于预设阈值的所述候选新闻数据导入合格新闻数据集合；

其中，所述根据主题核心词集合对所述结构化数据进行筛选，得到主题数据之前，该挖掘方法还包括：

对接收到的流式数据进行数据清洗、数据补齐和黑白名单过滤操作，得到属性一致的所述结构化数据，并进行分布式存储。

2.根据权利要求1所述的一种流式数据主题挖掘方法，其特征在于，所述提取候选新闻数据的新闻实体和新闻关键词，分别生成新闻实体集合和新闻关键词集合之前，该挖掘方法还包括：

根据主题核心词集合对新闻数据进行倒排索引过滤，得到相关新闻数据；

根据所述主题数据对所述相关新闻数据进行局部敏感哈希过滤，得到所述候选新闻数据。

3.根据权利要求1或2所述的一种流式数据主题挖掘方法，其特征在于，通过命名实体识别提取所述主题数据的主题实体包括的主题数据的发生地和参与者，得到主题数据的发生地和参与者集合；提取所述候选新闻数据的新闻实体包括的新闻的发生地和参与者，得到新闻的发生地和参与者集合；实体相关度包括：发生地相关度和参与者相关度；

所述发生地相关度的计算公式为：

其中，Sim_loc为主题数据与候选新闻数据的发生地相关度；loc_T为主题数据的发生地；loc_N为新闻的发生地；

所述参与者相关度的计算公式为：

其中，Sim_par为主题数据与新闻的参与者相关度；par_i为主题数据的参与者集合；par_j为新闻的参与者集合；

所述核心词相关度的计算公式为：

其中，Sim_core为主题数据与候选新闻数据的核心词相关度；core为主题核心词集合；keyw为新闻关键词集合；

所述关键词相关度的计算公式为：

Sim_relw＝cos(v_T,v_N)；

其中，Sim_relw为主题数据与候选新闻数据的关键词相关度；wt_i为主题关键词集合中的第i个主题关键词的词向量；wn_i为新闻关键词集合中的第i个新闻关键词的词向量；t为所述主题关键词集合的主题关键词的数量；n为所述新闻关键词集合的新闻关键词的数量；v_T为主题关键词集合的平均词向量；v_N为新闻关键词集合的平均词向量。

4.根据权利要求3所述的一种流式数据主题挖掘方法，其特征在于，所述根据实体相关度、关键词相关度和核心词相关度得到所述候选新闻数据与所述主题数据的新闻主题相似度的主题与新闻关系评价公式为：

F＝α·Sim_core+β·Sim_loc+γ·Sim_par+ω·Sim_relw；

其中，F为所述新闻数据的与所述主题数据的相似度；α、β、γ和ω为权重比系数；α+β+γ＝1；α，β，γ0。