[发明专利]一种复杂事件处理方法、系统及其装置有效
申请号: | 201710165680.6 | 申请日: | 2017-03-20 |
公开(公告)号: | CN108628884B | 公开(公告)日: | 2022-03-25 |
发明(设计)人: | 丁福海 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/9535;H04L43/067 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 复杂 事件 处理 方法 系统 及其 装置 | ||
本申请实施例公开了一种复杂事件处理方法、系统及其装置,用于在复杂事件处理系统中识别静默事件。本申请实施例方法包括:任务管理装置获取事件类型集合;所述任务管理装置向事件分发装置发送所述事件类型集合;所述事件分发装置向静默事件匹配装置发送初始化指令消息,所述初始化指令消息包括所述事件类型集合;所述静默事件匹配装置启动定时器;若在所述定时器启动后的预置时间内,所述静默事件匹配装置未接收到属于所述事件类型集合中的任一事件类型的事件,则生成静默事件;所述静默事件匹配装置向终端发送所述静默事件。
技术领域
本申请涉及通信领域,尤其涉及一种复杂事件处理方法、系统及其装置。
背景技术
大数据分析系统需要对各种业务系统产生的各种各样的海量数据进行采集、分析和存储,尽量发掘数据中蕴藏的价值,如电商系统、运营商系统等。其中有一些类别的数据吞吐量特别大,如网站的用户行为日志数据、运营商网络的信令数据。这些类别的数据的特点是其价值随着时间的流逝迅速降低,需要及时处理。例如,根据手机用户实时的位置信息做周边商家打折促销的短信推荐,然而如果过了一个小时,甚至几分钟再去做推荐,用户可能已经离开当时的位置了,此时若再进行推荐,则失去其意义。
对于这类数据的处理,通常有一个实时流系统(Streaming system)负责,通过实时采集数据,并内存中进行计算,最后输出数据分析结果给后端系统。整个处理过程尽量避免存储数据到磁盘,避免占用大量的空间,同时也避免读写磁盘代开了IO开销。在实时流系统中有一个重要的装置,用于识别事件的模式,叫做复杂事件处理系统(Complex EventProcessing,CEP)。
首先,管理员通过CEP的任务管理装置的界面或命令行接口创建一个事件模式,接着任务管理装置对输入的描述文本进行编译,编译的结果有两部分:一部分执行逻辑发送给“事件分发装置”,告诉它如何解码接收的事件,以及按哪个关键属性(例如,通常按手机号码属性的作为关键属性)进行事件分发;另一部分执行逻辑发送给“事件模式匹配装置”,告诉该装置上的状态机执行引擎,当事件到来的时候,为每一个关键属性值(例如手机号码)创建与模式对应的状态机,然后由状态机自身的状态迁移来实现模式的匹配。
但是由于使用了状态机原理实现,创建状态机通常在首个消息到达执行引擎时,如果没有事件进入的话,是无法工作的,因此无法识别用户的“静默事件”,例如,使用CEP分析移动用户的行为:用户连续1小时内没有打电话、用户一周内没有互联网访问、用户一个月内没有发生漫游。
为了解决当前的CEP系统无法识别用户的“静默事件”的问题,相关的业务功能要采用通过离线的方式搜集并存储事件数据,并定时周期性调度执行对数据的扫描统计。具体的,首先把事件采集后存储在分布式文件系统(Hadoop File System,HDFS)中,事件存储周期按事件模式中要求的识别的最长周期而定。接着,开发数据分析任务,定期调度执行,读取特定周期的数据,基于某个键集合查找是否有相关的数据,如果没有任何数据,说明满足空模式的要求,从而可以触发一个事件。
在大数据计算领域,流数据通常吞吐量非常大,上述方法存储事件到磁盘会造成繁忙,性能出现瓶颈,并且会消耗大量的存储空间,因此事件流落地会造成大量的性能损失和空间浪费。另外,由于处理延时大,周期性执行必然有时间间隔,导致事件数据处理不及时,在某些及时性要求高的场景下,离线周期调度执行是不可接受的。
发明内容
本申请实施例提供了一种复杂事件处理方法、系统及其装置,用于在复杂事件处理系统中识别静默事件。
有鉴于此,本申请实施例的第一方面提供一种复杂事件处理方法,包括:
任务管理装置获取事件类型集合,任务管理装置可以通过人机交互界面接收定义的事件类型集合,该事件类型集合包括一个或多个事件类型,该事件类型集合中的事件类型可以被事件分发装置判断分发的事件模式匹配装置,也可以被事件模式匹配装置判断是否需要生成复杂事件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710165680.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据处理方法、装置及电子设备
- 下一篇:一种数据同步方法、装置及存储设备