[发明专利]一种基于网络媒体数据流发现并跟踪热点话题的方法、系统和装置

说明书

本发明提供了一种基于网络媒体数据流发现热点话题的方法，包括：根据预设的时间间隔，从网络媒体平台获取当前时间窗口t内的多篇不同类型的文本数据，并对所获取的数据进行预处理；采用分类算法识别经预处理的每篇文本数据的类别，并根据所识别的类别对各篇文本数据进行过滤；以各篇经预处理和过滤的文本数据作为输入，统计关键词共现关系；根据关键词共现关系的统计结果，构建或更新对应的关键词图；按照预定的规则对关键词图进行逐步切分，以获得作为候选话题集合的一系列子图；针对候选话题集合中的各个候选话题，基于对应的子图进行聚类合并，以获取作为结果的热点话题。本发明还提供了基于网络媒体数据流发现热点话题的系统和装置。

技术领域

本发明属于互联网数据挖掘技术领域，特别涉及一种基于网络媒体数据流发现并跟踪热点话题的方法、系统和装置。

背景技术

计算机、通信以及网络技术的迅速发展使包括PC、平板电脑、智能手机、网络电视等在内的终端设备的性能不断提高。相应地，互联网媒体，特别是互联网社交媒体，凭借其多元性、迅捷性、交互性、易复制性、多媒体化等特点，已逐渐成为大众获取新闻资讯的主要途径之一。互联网社交媒体作为人们沟通交流的工具，越来越多地被用于传播新闻报道，更新个人状态，发布目击记录和交流思想看法。社交媒体上的数据量每天以数百万计的速度迅速增长，如何从海量的数据中实时发现和跟踪热点话题来为企业决策和政府舆情监控提供指引，已成为业界研究的热点。

然而，现有的热点话题发现和跟踪技术方案或多或少存在以下缺陷：1)数据来源单一，发现的热点话题不全面；2)对于采用聚类/主题模型进行热点话题发现的方法，由于社交媒体数据简短和不规范性，使得精确度较低；3)对于根据源数据类型将话题简单定义为在特定时间地点常用/常见的关键词、短语、话题标签或文章等的方法，则存在无法对话题进行丰富的及语意层面的分析与描述的不足，并且无法实现对话题的跟踪；4)对于单纯采用图搜索(例如广度优先搜索)对词共现图(简称词图)进行切分以实现热点话题发现的方法，由于词图体积较大，图搜索算法复杂度高，算法效率低。

发明内容

本发明的目的是克服现有技术中的不足，提供一种热点话题发现与跟踪技术。本发明以互联网媒体数据流为对象，以词共现图的构建/更新为基础，通过对词图的逐步切分处理获取候选话题集合，并进行候选话题聚类以实现对热点话题的发现；进一步地，通过时间维度对发现的热点话题进行对比，从而实现对热点话题的跟踪。

对应地，本发明提供了一种基于网络媒体数据流发现热点话题的方法，包括以下步骤：根据预设的时间间隔，从网络媒体平台获取当前时间窗口t内的多篇不同类型的文本数据，并对所获取的数据进行预处理；采用分类算法识别经预处理的每篇文本数据的类别，并根据所识别的类别对各篇文本数据进行过滤；以各篇经预处理和过滤的文本数据作为输入，统计关键词共现关系；根据关键词共现关系的统计结果，构建或更新对应的关键词图；按照预定的规则对关键词图进行逐步切分，以获得作为候选话题集合的一系列子图；针对候选话题集合中的各个候选话题，基于对应的子图进行聚类合并，以获取作为结果的热点话题。

优选地，所述关键词图中的节点由各个关键词构成，所述关键词图中的边由各个关键词的共现关系构成。

优选地，所述构建或更新对应的关键词图的步骤包括：根据词共现的统计结果为每条边赋权值；根据每个节点所连接边的权值为对应的节点赋权值。

优选地，所述按照预定的规则对关键词图进行逐步切分的步骤包括：根据关键词图中节点的权值信息，按照预定的规则选取节点集合；针对选取的节点集合，从权值最高的节点开始，计算每个当前节点与其邻接点的紧密度；根据每个当前节点与其邻接点的紧密度是否大于预定的第一阈值，将整个关键词图逐步切分为一系列子图集合。

优选地，所述预定的规则包括：top-K个节点，top-K％个节点，权值高于阈值的节点，包含特定关键词的节点，与特定行业、特定公司、特定产品和/或特定人物相关的节点，和/或所有节点。