[发明专利]数据聚合方法、装置及计算设备

说明书

本发明实施例公开了一种数据聚合方法、装置及计算设备，方法包括：响应于业务数据更新消息，从目标业务数据库中查询获取实时业务数据，并从一级数据表中获取原始业务数据；所述一级数据表用于存储全量的业务数据；根据所述实时业务数据及所述原始业务数据进行增量聚合计算，得到目标业务对应的增量数据；根据所述增量数据对二级数据表进行更新，并根据所述实时业务数据更新所述一级数据表；所述二级数据表用于存储所述业务数据对应的增量聚合数据。本发明实施例实现了在接收到业务数据更新消息时即可对实时业务数据进行增量聚合计算，提高了数据聚合的效率。

技术领域

本发明实施例涉及数据处理领域，具体涉及一种数据聚合方法、装置及计算设备、计算机存储介质。

背景技术

目前，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长，现有一般采用云端集中化存储、聚合处理、分析数据。

然而，在实施本发明实施例的过程中，发明人发现：现有技术中对于数据的聚合处理，一般通过设定一定的周期来对所存储的数据进行全量聚合，得到聚合数据，在聚合过程中需要依赖数据的时序进行聚合处理，这使得全量聚合时容易受到消息乱序性影响，降低了数据聚合的准确性及效率。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的数据聚合方法、装置及计算设备、计算机存储介质。

根据本发明实施例的一个方面，提供了一种数据聚合方法，包括：

响应于业务数据更新消息，从目标业务数据库中查询获取实时业务数据，并从一级数据表中获取原始业务数据；所述一级数据表用于存储全量的业务数据；

根据所述实时业务数据及所述原始业务数据进行增量聚合计算，得到目标业务对应的增量数据；

根据所述增量数据对二级数据表进行更新，并根据所述实时业务数据更新所述一级数据表；所述二级数据表用于存储所述业务数据对应的增量聚合数据。

在一种可选的方式中，所述业务数据更新消息中包括目标业务信息；所述响应于业务数据更新消息，从目标业务数据库中查询获取实时业务数据，并从一级数据表中获取原始业务数据，包括：根据所述目标业务信息，在目标业务数据库中查询获取所述实时业务数据；所述目标业务数据库为业务侧对应的数据库；根据所述目标业务信息，在所述一级数据表中获取所述原始业务数据。

在一种可选的方式中，所述根据所述实时业务数据及所述原始业务数据进行增量聚合计算，得到目标业务对应的增量数据，包括：根据所述实时业务数据及所述原始业务数据生成聚合消息；根据所述聚合消息进行增量聚合计算，得到目标业务对应的增量数据。

在一种可选的方式中，所述聚合消息中包括原始业务数据中的第一关键数据及所述实时业务数据中的第二关键数据；所述根据所述实时业务数据及所述原始业务数据进行增量聚合计算，得到目标业务对应的增量数据，包括：根据所述聚合消息中的所述第一关键数据及所述第二关键数据进行增量聚合计算，得到目标业务对应的增量数据。

在一种可选的方式中，所述聚合消息的消息体中包括原始数据模型及当前数据模型；所述根据所述实时业务数据及所述原始业务数据生成聚合消息，包括：将所述第一关键数据存储在所述原始数据模型中，将所述第二关键数据存储在所述当前数据模型中，以形成所述聚合消息。

在一种可选的方式中，所述将所述第一关键数据存储在所述原始数据模型中，将所述第二关键数据存储在所述当前数据模型中，以形成所述聚合消息，包括：确定目标业务对应的关键字段；根据所述关键字段从所述原始业务数据中确定第一关键数据；根据所述关键字段从所述实时业务数据中确定第二关键数据。

在一种可选的方式中，第一关键数据为所述原始业务数据的快照数据；所述第二关键数据为所述实时业务数据的快照数据。