[发明专利]流式计算方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种流式计算方法，该方法包括：实时读取业务系统产生的业务流水数据；从所述业务流水数据中读取事件标识字段，其中不同的事件标识字段用于标识不同的事件；根据所述事件标识字段将所述业务流水数据分流至对应的事件中；在每个事件中，调用预设的规则包对分流后的所述业务流水数据进行规则计算，得到对应的流式计算结果。本发明还公开了一种流式计算装置、设备和一种计算机可读存储介质。本发明能够在流式计算中实现业务规则的灵活配置，且事件流可以平行扩展，从而满足日益更新的业务处理需求。

技术领域

本发明涉及大数据处理技术领域，尤其涉及流式计算方法、装置、设备及计算机可读存储介质。

背景技术

流式计算是一种特殊的增量计算，与离线计算不同，流式计算源自业务对海量数据在“时效”价值上的挖掘诉求，其可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。

现有的流式计算流程为：业务系统将事件上报给消息中间件，实时计算系统RCS(Real Time Computing System)消费消息中间件的消息后，结合上报的消息以及数据源准备计算参数，然后依次根据硬编码的一系列规则进行计算，最终输出计算结果。这种计算方式的缺陷在于：(1)事件流无法平行扩展；(2)无法做到业务规则的灵活配置，即每增加一个事件，都需要重新硬编码对应的处理规则，且相同事件流处理，无法做到复用。因而，现有的流式计算方式已无法满足日益更新的业务处理需求。

发明内容

本发明的主要目的在于提出一种流式计算方法、装置、设备及计算机可读存储介质，旨在在流式计算中实现业务规则的灵活配置，且事件流可以平行扩展，从而满足日益更新的业务处理需求。

为实现上述目的，本发明提供一种流式计算方法，所述流式计算方法包括如下步骤：

实时读取业务系统产生的业务流水数据；

从所述业务流水数据中读取事件标识字段，其中不同的事件标识字段用于标识不同的事件；

根据所述事件标识字段将所述业务流水数据分流至对应的事件中；

在每个事件中，调用预设的规则包对分流后的所述业务流水数据进行规则计算，得到对应的流式计算结果。

优选地，所述实时读取业务系统产生的业务流水数据的步骤包括：

从分布式消息队列中实时读取业务系统产生的业务流水数据，其中分布式消息队列用于存储业务系统发送的业务流水数据。

优选地，所述在每个事件中，调用预设的规则包对分流后的所述业务流水数据进行规则计算，得到对应的流式计算结果的步骤包括：

将分流到各事件中的业务流水数据转换为预设的标准数据格式；

从经过标准数据格式转换后的业务流水数据中获取预设的传入参数；

调用预设的规则包对所述传入参数进行规则计算，得到对应的流式计算结果。

优选地，所述实时读取业务系统产生的业务流水数据的步骤之前，还包括：

接收规则包配置指令，根据所述规则包配置指令配置规则包，并设置与所述规则包对应的传入参数。

优选地，所述在每个事件中，调用预设的规则包对分流后的所述业务流水数据进行规则计算，得到对应的流式计算结果的步骤之后，还包括：

接收基于配置的所述规则包和所述传入参数的修改指令，根据所述修改指令对配置的所述规则包和所述传入参数进行修改。

此外，为实现上述目的，本发明还提供一种流式计算装置，所述流式计算装置包括：

第一读取模块，用于实时读取业务系统产生的业务流水数据；