[发明专利]一种实时指标计算的方法、系统、电子装置和存储介质

说明书

本申请涉及一种实时指标计算的方法、系统、电子装置和存储介质，其中，该方法包括：接收新数据，并获取与该新数据同一分组的第一历史累加和，将该新数据与第一历史累加和相加，构建得到新的累加和；接着，获取新数据的事件时间，并用该事件时间减去指标配置的窗口时间范围，得到窗口开始时间；最后根据窗口开始时间，获取该窗口开始时间之前的累加和，并用新的累加和减去该窗口开始时间之前的累加和，得到指标计算结果，解决了在计算实时指标时，存在的响应速度慢或计算精度低的问题，既能保证指标计算结果的精准度，又能满足响应时间的要求，提高计算速度。

技术领域

本申请涉及大数据领域，特别是涉及一种实时指标计算的方法、系统、电子装置和存储介质。

背景技术

指标计算是对原始数据进行深层次挖掘和加工的过程，是机器学习领域能够发挥作用的关键步骤。在具体的场景中，如交易反欺诈，风控大脑，信贷审计等，都是根据指标构建规则集或者决策树，对每一次请求给出风险提示。此外，实时指标是指以当前数据的时间点往前进行时间窗口滑动回溯，实时窗口同一主维度分组的所有数据都会分配进入同一个窗口，每接收一条新数据，均会触发窗口进行计算，但计算之前，会以当前数据的时间为参考，把窗口中已过期的时间数据予以剔除，之后，将剩余符合要求的数据取回，由计算函数处理输出计算结果。然而，对于大规模上百亿的数据集进行指标的计算，响应速度会面临着巨大的挑战，往往要以牺牲精准度为代价来加快响应速度。

在相关技术中，计算实时指标的方法主要有两种：1.全量扫描法，以当前数据的事件时间作为结束时间，减去指标配置的时间窗口得到开始时间，然后把处于该时间范围的并且同一分组的数据全部捞出来，然后在该数据集上计算指标。2.分片增量计算法，这种方法就是首先确定一个时间分片，比如说天，小时或者分钟，然后把同一分组并且同一时间片的数据进行预聚合，之后在计算指标时只需要把时间范围内的分片的聚合结果累加。然而，对于全量扫描法，它的实现简单，但是如果数据集的规模比较大，每次都要捞取大量的数据，这样会耗费大量的时间，设置有可能造成宕机等，因此，只适合在小规模数据集上使用。对于分片增量计算法，它能够有效地降低计算耗时，但是时间分片会牺牲一部分的指标精确度，比如说时间分片是天，指标配置的时间范围是7天，当前数据事件时间是2021-06-0211:11:11,那么时间窗口应该是2021-05-26 11:11:11至2021-06-02 11:11:11，但是该方法实际计算的窗口是2021-05-26 00:00:00至2021-06-02 11:11:11。如果把分片调小为小时或分钟，那么精度可能为提高，但是带来的性能就会下降。

目前针对相关技术中在计算实时指标时，存在的响应速度慢或计算精度低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种实时指标计算的方法、系统、电子装置和存储介质，以至少解决相关技术中在计算实时指标时，存在的响应速度慢或计算精度低的问题。

第一方面，本申请实施例提供了一种实时指标计算的方法，所述方法包括：

接收新数据，并获取与所述新数据同一分组的第一历史累加和，将所述新数据与所述第一历史累加和相加，构建得到新的累加和；

获取所述新数据的事件时间，并用所述事件时间减去指标配置的窗口时间范围，得到窗口开始时间；

根据所述窗口开始时间，获取所述窗口开始时间之前的累加和，并用所述新的累加和减去所述窗口开始时间之前的累加和，得到指标计算结果。

在其中一些实施例中，在得到指标计算结果之后，所述方法包括：

输出所述指标计算结果，并保存所述新的累加和。

在其中一些实施例中，所述获取与所述新数据同一分组的第一历史累加和包括：

计算同一分组的起始点到所述新数据之前的累加和，得到第一历史累加和y：