[发明专利]一种数据处理方法、设备及计算机可读介质

说明书

本申请提供了一种数据处理方案，进行数据处理设备可以响应于用户输入的指标配置信息和指标提取规则，创建多个任务，并生成多个任务之间的拓扑关系，当基于所述拓扑关系调度并执行所述多个任务时，可以计算所述指标配置信息对应的指标数据，基于所述指标提取规则从所述指标数据中提取目标指标数据，并将所述目标指标数据发送至目标数据库。对于用户来说，仅需要了解指标数据对应的指标配置信息和指标提取规则即可，适合于风险防控的运营人员。同时，设备在获得指标配置信息和指标提取规则之后，能够自动生成相应的任务及拓扑关系，并且能够按照拓扑关系顺序执行，完成离线处理至数据回流的整个过程，工作量小且无需人工干预。

技术领域

本申请涉及信息技术领域，尤其涉及一种数据处理方法、设备及计算机可读介质。

背景技术

随着互联网技术的发展，用户在互联网上实施的行为也越来越多，例如在互联网上进行购物、消费等。随着时间的推移，互联网上的交易系统中会积累很多的用户进行交易的事件数据，例如交易时间、交易金额、交易次数等，这些事件数据能够用于进行数据挖掘，从而获得一些能够用于评价风险的指标数据。

因此，对于风险防控的运营人员来说希望能基于这些历史事件数据，进行离线的过滤和加工，进而提取出一些能用于线上实时防控的指标数据。目前通用的方案时，根据指标数据的需求编写对应的任务，在离线数据平台中执行，获得执行结果(即所需要的指标数据)，然后进行数据回流，把执行结果中的指标数据导入到线上数据库使用。

但是，由于风控运营人员在离线数技术处理方面(如脚本编写、调度、数据回流)能力欠缺，此种方案的缺点如下：

1、需要根据每种需求编写任务的脚本代码，复杂度高，风控运营人员不具备相应的能力，需要依赖于编程人员的配合才可以顺利获得需要的指标数据。

2、每种指标数据的需求都需要编写对应的任务，工作量大。

3、编写脚本、离线计算、数据回流都需要人工干预，处理效率低。

申请内容

本申请的一个目的是提供一种数据处理的方案，用以解决现有方案中复杂度高、工作量大、处理效率低的问题。

本申请实施例中提供了一种数据处理方法，该方法包括：

响应于用户输入的指标配置信息和指标提取规则，创建多个任务，并生成多个任务之间的拓扑关系，其中，所述任务用于在被执行时实现相应的处理，所述拓扑关系表示所述多个任务的执行顺序；

基于所述拓扑关系调度并执行所述多个任务，以计算所述指标配置信息对应的指标数据，基于所述指标提取规则从所述指标数据中提取目标指标数据，并将所述目标指标数据发送至目标数据库。

本申请实施例还提供了一种数据处理设备，该设备包括：

任务构建模块，用于响应于用户输入的指标配置信息和指标提取规则，创建多个任务，并生成多个任务之间的拓扑关系，其中，所述任务用于在被执行时实现相应的处理，所述拓扑关系表示所述多个任务的执行顺序；

任务执行模块，用于基于所述拓扑关系调度并执行所述多个任务，以计算所述指标配置信息对应的指标数据，基于所述指标提取规则从所述指标数据中提取目标指标数据，并将所述目标指标数据发送至目标数据库。

此外，本申请的一些实施例还提供了一种计算设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行所述的数据处理方法。

本申请的另一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现所述的数据处理方法。