[发明专利]基于多数据流计算的社交网络热点事件检测方法

说明书

本发明公开了一种基于多数据流计算的社交网络热点事件检测方法，包括下述步骤：对用户生成内容短文本数据进行词特征提取，并对该词特征进行主题分析；建立主题间的区分性和主题内的内聚性，以突发主题作为用户生成内容的特征；对用户生成内容、用户行为数据和用户画像数据，利用模糊集理论，建立自适应无监督的目标决策；对每个单数据流的数据进行粒化，并对多数据流进行多粒度结构的重要度和相关性度量，以对多个粒结构进行约简和相关性判断；对不同粒结构依据相关性和目标决策进行覆盖分析，从而建立多粒度空间的计算，检测热点事件。本发明能够实现无监督自适应的决策，解决多源异构数据计算问题，有效地检测社交网络中的热点事件。

技术领域

本发明涉及自然语言处理和文本挖掘领域，特别涉及一种基于多数据流计算的社交网络热点事件检测方法。

背景技术

热点事件具有“广泛关注性”、“不确定性”和“危害性”等特征，影响深远。社交网络中的热点事件检测显得尤为重要。热点事件检测不仅是话题检测、舆情分析、情感分析等研究的理论支撑和挑战，还是社交网络分析、网络舆情监控、电商平台商业分析、金融信息分析等重要应用的核心内容。比如，在社交网络分析中，通过分析社交网络的传播态势、用户行为等，以分析公众情感和用户影响力，以及识别意见领袖和种子事件；在网络舆情监控方面，可以进行公共事件网络舆情演化分析、热点话题发现与追踪、突发事件检测等；在电商平台商业分析中，通过分析用户的内容数据和行为数据，可以进行商品和企业的口碑分析等。热点事件的检测对公共安全风险预警、网络舆情监控、商业平台决策等提供有效的解决方案。

然而，在社交网络时代，社交网络数据除了具有大数据的海量性和动态性等特点，还具有稀疏性、多维异构性、不确定性、非线性、主题单一性等特点，这使得传统的方法不能很好地适应当前社交网络环境下的热点事件检测。一方面，由于社交网络数据多是短文本数据，相对于长文本数据而言，短文本多是口语描述，表述简单，不规范等，导致社交网络数据的高维性、稀疏性、语义相似性等。另一方面目前针对社交网络中的热点事件检测只考虑单类特征或者简单的特征结合。比如，微博内容数据中的特征词，用户行为数据中的评价次数、时间间隔，社交网络关系等。但是社交网络中的数据不但包含用户内容数据，用户行为数据，还包含用户画像信息数据等，如图2中的微博数据。这些数据都是对同一事件的不同视角的描述，包含结构化、半结构化和非结构化信息，对热点事件的发生有不同的决定性作用。对某类信息的忽略不仅会导致特征的片面，同时每类信息属于非线性关系，并且具有各自不同的特性和对事件的发生有不同的重要度影响。如果不考虑数据的相关性以及对事件检测的不同重要度，简单的特征结合必然会影响检测的效果。

综上，基于多数据流的研究不仅能实现具有相关性和互补性的不同侧面的信息的有效利用，还能促进数据和算法的分布式并行计算，获得比单数据流更精准的结果。针对社交网络数据新的特性，研究基于多数据流计算的热点事件检测具有重要的理论意义和应用价值。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于多数据流计算的社交网络热点事件检测方法，能够有效检测社交网络中的热点事件。

为实现以上目的，本发明采取如下技术方案：

一种基于多数据流计算的社交网络热点事件检测方法，包括以下步骤：

S1、利用处理时序数据的深度学习方法对用户生成内容短文本数据进行词特征提取，对短文本词特征进行主题分析；

S2、根据主题分析结果，建立主题间的区分性和主题内的内聚性，以此识别主题的突发性，以突发主题作为用户生成内容的特征进行事件检测；

S3、对用户生成内容、用户行为数据和用户画像数据，利用模糊集理论，建立自适应无监督的目标决策；

S4、对每个单数据流的数据进行粒化，并对多数据流进行多粒度结构的重要度和相关性度量，以对多个粒结构进行约简和相关性判断；