[发明专利]数据聚合系统、方法、电子设备及存储介质

说明书

本发明实施例公开了一种数据聚合系统、方法、电子设备及存储介质，该系统包括：任务调度模块、数据导出模块和数据聚合模块；其中，任务调度模块，用于根据接收的数据聚合任务生成数据导出请求，并向数据导出模块发送数据导出请求；从服务器集群中选取作为执行节点的目标服务器节点，并向目标服务器节点下发任务执行指令；数据导出模块，用于根据数据导出请求将原始数据从分布式数据库导出后进行存储，并将导出后原始数据的存储路径发送给任务调度模块；数据聚合模块，用于基于接收到的任务执行指令中的作业流信息和存储路径执行数据聚合任务。通过本发明实施例的技术方案，实现了对分布式数据库中的数据进行聚合，提高了便捷性。

技术领域

本发明实施例涉及大数据处理技术领域，尤其涉及一种数据聚合系统、方法、电子设备及存储介质。

背景技术

数据聚合是指通过对大数据的检索、分析以及处理，最终将分散的数据进行汇总，生成报表、图表等。数据聚合可以深度挖掘数据的价值，为决策者提供辅助支持。

随着企业业务规模的不断扩大，传统的数据存储及数据处理方式已经无法满足日益增长的业务需求，分布式数据库被广泛应用于数据存储，但因分布式数据库的数据分散而造成数据跨库查询、生成报表以及向第三方系统供数等场景实现困难，目前业界没有成熟的数据聚合的解决方案。

现阶段的数据聚合方法主要针对特定的业务场景，当业务需求改变时，需要重新开发后台逻辑，且当数据量大、业务逻辑复杂时，无法保证计算的效率。

发明内容

本发明实施例提供了一种数据聚合系统、方法、电子设备及存储介质，以实现对分布式数据库中的数据进行聚合，提高数据聚合的便捷性。

第一方面，本发明实施例提供了一种数据聚合系统，该系统包括：任务调度模块、数据导出模块和数据聚合模块；其中，

任务调度模块，用于根据接收的数据聚合任务生成数据导出请求，并向数据导出模块发送所述数据导出请求，以使所述数据导出模块根据所述数据导出请求从分布式数据库导出用于数据聚合的原始数据；从服务器集群中选取作为执行节点的目标服务器节点，并向所述目标服务器节点下发任务执行指令，其中，所述任务执行指令中包含导出后所述原始数据的存储路径以及所述数据聚合任务对应的作业流信息；

数据导出模块，用于根据所述数据导出请求将所述原始数据从分布式数据库导出后进行存储，并将导出后所述原始数据的存储路径发送给所述任务调度模块；

数据聚合模块，设置于所述服务器集群中的各服务器节点中，用于基于接收到的任务执行指令中的作业流信息和存储路径执行数据聚合任务。

第二方面，本发明实施例还提供了一种数据聚合方法，该方法包括：

经由任务调度模块根据接收的数据聚合任务生成数据导出请求，并向数据导出模块发送所述数据导出请求，以使所述数据导出模块根据所述数据导出请求从分布式数据库导出用于数据聚合的原始数据；从服务器集群中选取作为执行节点的目标服务器节点，并向所述目标服务器节点下发任务执行指令，其中，所述任务执行指令中包含导出后所述原始数据的存储路径以及所述数据聚合任务对应的作业流信息；

经由数据导出模块根据所述数据导出请求将所述原始数据从分布式数据库导出后进行存储，并将导出后所述原始数据的存储路径发送给所述任务调度模块；

经由数据聚合模块基于接收到的任务执行指令中的作业流信息和存储路径执行数据聚合任务，其中，所述数据聚合模块设置于所述服务器集群中的各服务器节点中。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，