[发明专利]一种流式计算指标的生成方法及装置

说明书

本申请提供了一种流式计算指标的生成方法及装置，首先从数据流中接收待处理的多个目标数据源；接收用户发送的目标处理逻辑，所述目标处理逻辑包括所述多个目标数据源的之间的处理逻辑；接着将所述目标处理逻辑转换为标准处理逻辑；然后将所述多个目标数据源和标准处理逻辑组合得到指标业务清单；根据所述指标业务清单生成流式计算指标，以便进行数据流的处理。如此，通过对目标数据源和目标处理逻辑进行转换，得到标准的指标业务清单，并根据指标业务清单自动生成流式计算指标，业务开发人员无需掌握结构化流技术也能完成指标的开发，提高了开发效率。

技术领域

本申请涉及数据处理领域，尤其涉及一种流式计算指标的生成方法及装置。

背景技术

在传统的数据处理批流程中，可以先进行数据的收集并存储，然后在需要处理数据时，从存储空间中获取数据并进行处理。这种数据处理方法对于静态数据的处理效果很好。但是对于具有大量、快速、时变特点的流数据，传统的处理方式处理起来较为困难。为此，开发人员可以使用结构化流技术，通过构建流式计算指标对流数据进行处理。

但是，目前使用结构化流技术时，处理不同的流数据需要构建不同的流式计算指标，而流式计算指标又需要开发人员手动创建。所以当开发新的业务时，开发人员需要花费大量时间设计并编写流式计算指标的代码，完成流式计算指标的创建。由于流式计算指标的代码中包含了大量与当前业务无关的框架代码，导致创建流式计算指标的效率较低，从而降低了开发人员的工作效率。另外，编写流式计算指标要求开发人员熟练掌握结构化流技术，提高了开发门槛。

发明内容

有鉴于此，本申请实施例提供了一种流式计算指标的生成方法及装置，旨在提供一种不需要关注流式计算指标底层实现的流式计算指标生成方法

为了实现上述目的，本申请提供了以下技术方案：

一种流式计算指标的生成方法，所述方法包括：

根据需求从外部数据源中选择目标数据源，并将所述目标数据源转换为标准数据源；

接收用户发送的目标处理逻辑，所述目标处理逻辑包括所述目标数据源的之间的处理逻辑；

将所述目标处理逻辑转换为标准处理逻辑；

将所述标准数据源和标准处理逻辑组合得到指标业务清单；

根据所述指标业务清单生成流式计算指标，以便进行数据流的处理。

可选地，所述接收用户发送的目标处理逻辑包括：

向用户发送所述标准数据源，以便用户确定所述标准数据源之间的关系；

接收用户发送的数据源处理指令；

根据所述数据源处理指令确定所述目标处理逻辑。

可选地，所述将所述目标处理逻辑转换为标准处理逻辑包括：

选择所述目标处理逻辑对应的标准数据源；

根据所述标准数据源对应的数据类型选择标准逻辑模板；

利用所述标准逻辑模板将目标处理逻辑转换为标准处理逻辑。

可选地，所述将所述标准数据源和标准处理逻辑组合得到指标业务清单包括：

根据所述标准数据源的数量选择业务清单模板，所述业务清单模板包括多个数据源栏位和连接所述多个数据源栏位的逻辑栏位；

将所述标准数据源填入所述业务清单模板的数据源栏位中；

根据所述标准数据源和标准处理逻辑之间的关系，将所述标准处理逻辑填入对应的逻辑栏位中，得到指标业务清单。

可选地，所述根据所述指标业务清单生成流式计算指标包括：