[发明专利]一种多粒度实时热点聚合方法

摘要

本发明提供一种多粒度实时热点聚合方法，包括：对输入的流式数据进行数据清洗处理，并将处理后的流式数据表示为结构化数据；对第一预设时间片内的结构化数据进行分词，并计算各分词在所有结构化数据中的权重；根据各分词的权重计算当前时间片内各事件的权重；对事件进行聚合，并根据各事件的权重计算聚合后的每个事件簇的权重；根据各事件簇的权重生成排序后的事件列表。本发明提供的技术方案，提升了最终事件显示结果的粒度、事件的完整性和准确性，方便了用户快速准确地获取热点信息。

主权项

1.一种多粒度实时热点聚合方法，其特征在于，包括：对输入的流式数据进行数据清洗处理，并将处理后的流式数据表示为结构化数据；对第一预设时间片内的结构化数据进行分词，并计算各所述分词在所有结构化数据中的权重；根据各所述分词的权重计算当前时间片内各事件的权重，所述当前时间片位于所述第一预设时间片内，所述事件与所述结构化数据一一对应；对所述事件进行聚合，并根据各所述事件的权重计算聚合后的每个事件簇的权重；根据各所述事件簇的权重生成排序后的事件列表；其中，在所述根据各所述分词的权重计算当前时间片内各事件的权重之前，所述方法还包括：计算各所述分词的语义相似度，对语义相似度大于第一预设阈值的分词进行合并操作，并根据各所述分词的权重和词性计算合并后的各分词的权重；所述根据各所述分词的权重和词性计算合并后的各分词的权重，具体包括：根据公式(1)计算各所述分词在所述结构化数据中的权重；其中，word_i表示第i个分词，word_j表示第j个分词，表示word_i的权重；表示word_i的词频，表示第i个分词的逆词频，表示word_j的词频，表示word_j的逆词频；表示word_i的来源属性对应的权重，表示word_i的词性对应的权重，表示word_j的来源属性对应的权重，表示word_j的词性对应的权重，number_similar表示与word_i的语义相似度大于第一预设阈值的分词的个数。