[发明专利]一种基于业务抽象和多引擎调度的数据汇总方法和系统

摘要

本发明提供了一种基于业务抽象和多引擎调度的数据汇总方法和系统，该方法的核心是业务需求与具体大数据实现解耦，在底层自适应多种大数据引擎。首先配置用户的汇总业务需求，在接收到数据源数据和业务需求后，适配所述业务需求特征的一个特定大数据分析引擎，并将所述业务需求转换为所选择的特定大数据分析引擎的原语；将汇总指示和原语发送给大数据分析单元进行数据汇总处理，得到汇总结果后输出。本发明的技术方案不需要用户了解具体的大数据分析引擎的实现细节，而通过业务抽象配置和多引擎自适应调度来为数据源选择合适的汇总引擎，从而大幅降低了大数据技术的门槛，具有很高的通用性。

主权项

1.一种基于业务抽象和多引擎调度的数据汇总系统，其特征在于，该系统包括数据导入模块、通用多引擎汇总管理模块、数据导出模块、大数据分析单元和配置模块；所述数据导入模块，用于从指定的外部数据源定期读取数据，经过格式转换后，将数据导入大数据分析单元，然后通知通用多引擎汇总管理模块已完成数据导入；所述通用多引擎汇总管理模块，收到数据导入模块发来的数据导入完成通知后，根据配置模块设置的汇总业务需求，选择适配所述业务需求的一个特定大数据分析引擎，并将所述业务需求转换为所选择的特定大数据分析引擎的原语，所述原语是大数据分析引擎理解的语言；将汇总指示和所述特定大数据分析引擎的原语发送给大数据分析单元；当从大数据分析单元得到汇总完成的通知后，再将汇总完成通知发给数据导出模块；所述数据导出模块，从通用多引擎汇总管理模块得到汇总完成的通知后，从大数据分析单元中读取汇总结果数据，经过格式转换后，输出给外部应用；所述大数据分析单元，用于存储导入数据，当接收到通用多引擎汇总管理模块发来的汇总指示和原语后，进行大数据查询分析计算汇总；汇总完成后存储汇总结果数据，并通知通用多引擎汇总管理模块已完成数据汇总；所述配置模块，用于配置外部数据源、配置外部应用的连接信息，配置用户的汇总业务需求。