[发明专利]一种统计量计算方法及装置

说明书

一种统计量计算方法及装置，用以避免计算统计量时的重复计算问题。该方法包括：接收第一统计量的实时计算请求；所述实时计算请求包括所述第一统计量的函数、参数及参数值；在确定高速存储区中不存在所述第一统计量的计算结果时，在辅助存储区中查找是否存在所述第一统计量的计算结果；若所述辅助存储区中存在所述第一统计量的计算结果，则直接使用所述辅助存储区中的所述第一统计量的计算结果；否则，根据所述第一统计量的函数、参数及参数值确定所述第一统计量的计算结果，并将所述第一统计量的计算结果分别存储至所述高速存储区和所述辅助存储区中。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种统计量计算方法及装置。

背景技术

随着数字产业化的发展，企业的数据分析场景越来越丰富。目前用于数据分析的分析引擎有多种，例如实时分析引擎、准实时分析引擎、批量分析引擎以及机器学习平台等，不同的分析引擎对于统计量的访问时效有不同的要求，比如实时分析引擎要求在几十毫秒时间内计算出结果，因此计算所使用的统计量需要存储在高速缓存区中，以保证访问速度。批量分析引擎则对存储访问速度要求不高，计算所使用的统计量使用普通存储(辅助存储)即可。现有技术中，对于不同时效要求的统计量需要分别存储，因此实时计算与批处理计算的统计量不能共用。这种分别存储的方式对于同一统计量，可能会出现实时计算引擎需要使用时计算一次该统计量，然后将计算结果存储在高速缓存区中，当批量分析引擎需要使用该统计量时还需要重新计算一次，然后将计算结果存储在辅助存储区中。因此会出现重复计算的问题，浪费计算资源。

因此，目前亟需一种方案，用以避免计算统计量时的重复计算问题。

发明内容

本申请提供一种统计量计算方法及装置，用以避免计算统计量时的重复计算问题。

第一方面，本申请提供一种统计量计算方法，该方法包括：接收第一统计量的实时计算请求；所述实时计算请求包括所述第一统计量的函数、参数及参数值；在确定高速存储区中不存在所述第一统计量的计算结果时，在辅助存储区中查找是否存在所述第一统计量的计算结果；若所述辅助存储区中存在所述第一统计量的计算结果，则直接使用所述辅助存储区中的所述第一统计量的计算结果；否则，根据所述第一统计量的函数、参数及参数值确定所述第一统计量的计算结果，并将所述第一统计量的计算结果分别存储至所述高速存储区和所述辅助存储区中。

上述技术方案中，对于辅助存储区中已存在的统计量的计算结果，实时计算可以直接使用，可以避免同一统计量重复计算的问题出现，提升系统运行效率。

在一种可能的设计中，所述方法还包括：若所述高速存储区中已存在所述第一统计量的计算结果，则直接使用所述高速存储区中的所述第一统计量的计算结果。

上述技术方案中，对于高速存储区中已存在的统计量的计算结果，实时计算可以直接使用，无需再访问辅助存储区，可以提升计算引擎的访问速度。

在一种可能的设计中，所述方法还包括：接收第二统计量的批处理计算请求；所述批处理计算请求包括所述第二统计量的函数、参数及参数值；在所述辅助存储区中查找是否存在所述第二统计量的计算结果；若所述辅助存储区中存在所述第二统计量的计算结果，则直接使用所述辅助存储区中的所述第二统计量的计算结果；否则，根据所述第二统计量的函数、参数及参数值确定所述第二统计量的计算结果，并将所述第二统计量的计算结果存储至所述辅助存储区中。

上述技术方案中，不仅可以进行实时计算，还可以进行对时效性要求不高的批处理计算，批处理计算的计算结果存储在辅助存储区中，后续相同函数、参数及参数值的实时计算或批处理计算可以直接使用该计算结果。