[发明专利]数据实时流处理方法、系统、计算机装置和存储介质

说明书

本发明公开了一种数据实时流处理方法、系统、计算机装置和存储介质，数据实时流处理方法包括开发规则模型，向规则模型注入所关联的阈值参数，将多个规则模型组合成作业规则，将业务数据与作业规则匹配，从而生成预警消息，以及推送预警消息等步骤。本发明实时流处理方法和实时流处理系统能够实现对规则的抽象和结合实时流处理与规则引擎，从而可以有效的解偶规则和参数，让规则可以按业务需求进行复用，重组，减少重复工作。另外对计算资源的隔离，则可以有效分割不同作业，避免互相影响，能够有效地帮助业务员将业务规则从应用程序代码分离出来，降低预警模型开发复杂度和开发成本较高。本发明广泛应用于数据流处理技术领域。

技术领域

本发明涉及数据流处理技术领域，尤其是一种数据实时流处理方法、系统、计算机装置和存储介质。

背景技术

目前企业、事业单位业务数字化已基本完备，因此生成的数据量、数据种类呈现指数级上涨，同时，实际业务中的规则频繁变化，因此要求使用基于规则引擎的实时流处理技术，去处理日常业务中产生的数据。目前使用的数据实时流处理技术如flink、storm、规则引擎drools、复杂事件处理CEP等，其缺点包括：业务规则与其应用程序代码紧密结合难以分离，因此预警模型开发复杂度及开发成本较高，不利于数据实时流处理在企事业单位的应用。

发明内容

针对上述至少一个技术问题，本发明的目的在于提供一种数据实时流处理方法、系统、计算机装置和存储介质。

一方面，本发明实施例包括一种数据实时流处理方法，包括：

开发规则模型；

确定所述规则模型与相应阈值参数的关联关系；

向所述规则模型注入所关联的所述阈值参数；

将多个规则模型组合成作业规则；

获取业务数据，将所述业务数据与经过解析的所述作业规则匹配，从而生成预警消息；

推送所述预警消息。

进一步地，所述确定所述规则模型与相应阈值参数的关联关系，包括：

选取业务数据的数据源；

关联所述数据源中的事件日期字段；所述事件日期字段用于作为规则告警时间；

编写判断规则；

暴露与所述判断规则相应的阈值参数；

声明所述阈值参数。

进一步地，所述将多个规则模型组合成作业规则，包括：

拉取多个规则模型；

通过且或者或的方式对各规则模型进行关联；所述关联的结果为所述作业规则。

进一步地，所述获取业务数据，将所述业务数据与经过解析的所述作业规则匹配，从而生成预警消息，包括：

根据所述作业规则的计算环境配置生成计算节点集合；

执行数据源注册和用户自定义函数注册；

执行计算资源对接，将所述作业规则分发到所述计算节点集合中的计算节点上进行计算；

从数据源获取业务数据；

将所述业务数据与所述作业规则进行实时匹配；

若所述业务数据与所述作业规则符合匹配规则，将所述业务数据封装成预警消息。

另一方面，本发明实施例还包括一种数据实时流处理系统，包括：

数据源，用于开发规则模型；