[发明专利]一种基于业务抽象和多引擎调度的数据汇总方法和系统

说明书

本发明提供了一种基于业务抽象和多引擎调度的数据汇总方法和系统，该方法的核心是业务需求与具体大数据实现解耦，在底层自适应多种大数据引擎。首先配置用户的汇总业务需求，在接收到数据源数据和业务需求后，适配所述业务需求特征的一个特定大数据分析引擎，并将所述业务需求转换为所选择的特定大数据分析引擎的原语；将汇总指示和原语发送给大数据分析单元进行数据汇总处理，得到汇总结果后输出。本发明的技术方案不需要用户了解具体的大数据分析引擎的实现细节，而通过业务抽象配置和多引擎自适应调度来为数据源选择合适的汇总引擎，从而大幅降低了大数据技术的门槛，具有很高的通用性。

技术领域

本发明涉及大数据处理，特别地，涉及一种基于业务抽象和多引擎调度的数据汇总方法和系统。

背景技术

目前随着大数据技术各行业越来越广泛的应用，大数据引擎，包括流行的大数据和流式计算技术，比较多，业界主要的几种大数据技术包括hadoop,impala,hbase,hive,spark等，主要的集中流式计算技术包括sparkstreaming,storm；上述各种大数据和流式计算技术各有所长，但是学习曲线都比较长；在各个细分的应用领域也都能看到很多相关的专利，但是这些专利都有类似的特点，就是使用某一种大数据技术，在某一个特定的应用上。

而且，在目前的市场环境下，一个熟悉某种大数据技术的开发团队是比较贵的，一个熟悉多种大数据技术，并能根据业务需求快速选定最合适的技术引擎开发的团队就很少了，能把这种选择过程智能化，以可视化、自适应方式实现的产品还没有。

对于比较大型的公司来说，以前都有很多业务系统在线上运行，现在想用大数据技术对这些系统进行改造，希望能把业务抽象和具体的分析计算实现脱离开，上层用户只需要描述抽象的业务需求，由底层根据业务特征自动选用最合适的大数据引擎实现，即用一种带有通用特征的框架，在业务层不太懂大数据技术细节的人也能进行抽象配置，由底层自动适用最合适的大数据引擎进行实现；从而在上层应用的具体实现环节，最大程度的屏蔽技术细节，通过可视化配置，模块化的方式来实现具体的业务。

目前还没有看到有针对大数据应用进行业务层抽象，并且屏蔽大数据底层大部分细节，通过配置方式实现的技术，需要一种以较低的成本，较快的速度引入大数据技术改造现有系统，这是本发明的目的。

发明内容

为了实现移动大数据性能汇总功能和移动大数据流式汇总功能，本发明提供一种基于业务抽象和多引擎调度的数据汇总方法和系统。

根据本发明的实施方式，提出一种基于业务抽象和多引擎调度的数据汇总系统，该系统包括数据导入模块、通用多引擎汇总管理模块、数据导出模块、大数据分析单元和配置模块；

所述数据导入模块，用于从指定的外部数据源定期读取数据，经过格式转换后，将数据导入大数据分析单元，然后通知通用多引擎汇总管理模块已完成数据导入；

所述通用多引擎汇总管理模块，收到数据导入模块发来的数据导入完成通知后，根据配置模块设置的汇总业务需求，选择适配所述业务需求的一个特定大数据分析引擎，并将所述业务需求转换为所选择的特定大数据分析引擎的原语，所述原语是大数据分析引擎理解的语言；将汇总指示和所述特定大数据分析引擎的原语发送给大数据分析单元；当从大数据分析单元得到汇总完成的通知后，再将汇总完成通知发给数据导出模块；

所述数据导出模块，从通用多引擎汇总管理模块得到汇总完成的通知后，从大数据分析单元中读取汇总结果数据，经过格式转换后，输出给外部应用；

所述大数据分析单元，用于存储导入数据，当接收到通用多引擎汇总管理模块发来的汇总指示和原语后，进行大数据查询分析计算汇总；汇总完成后存储汇总结果数据，并通知通用多引擎汇总管理模块已完成数据汇总；

所述配置模块，用于配置外部数据源、外部应用的连接信息，配置用户的汇总业务需求。