[发明专利]一种大数据平台SQL任务执行引擎智能自动切换的方法

说明书

本发明公开了一种大数据平台SQL任务执行引擎智能自动切换的方法，包括获取原始SQL语句和执行参数信息，根据执行参数信息和原始SQL语句，计算决策出当前SQL任务适合的执行引擎及资源配置数据，根据执行引擎类型确认预先设计制作好的引擎落地执行程序包等步骤。本发明提供一个统一的SQL编辑入口，用户编写SQL语句传递给后端服务器，后端服务器根据业务的类型与数量，集群运行环境，资源分配情况进行综合分析建模；统计具体任务运行的时段，占用资源的比例，动态调整计算资源数据来决策当前SQL语句由大数据集群中某个执行引擎来执行，以优化业务的执行，达到资源的最大合理化分配调度，节约计算资源成本并降低开发人员的开发成本及学习成本。

技术领域

本发明涉及大数据处理技术领域，具体是指一种大数据平台SQL任务执行引擎智能自动切换的方法。

背景技术

在大数据平台的数据计算使用过程中，计算任务管理的重要内容是：为支持各种各样的数据展示，业务开发人员使用各种开发方式生成计算任务进行数据统计，支撑着各个业务数据分析及图表数据的收集及存储。在这种趋势背景下，使用SQL语句作为计算任务的开发标准会让开发人员和分析人员更容易接受，学习成本小与入门门槛低，并且很容易对数据指标进行计算逻辑表达。在大数据环境下，各个执行引擎会根据自己的存储属性在SQL标准上做一些自己的特有改进。所以计算任务开发过程中，开发人员往往会选择使用程序语言去编写针对特定执行引擎的任务程序包，然后提交给大数据集群中的执行引擎去执行。但是，这种方式不但增加开发门槛和学习成本，而且加大集群计算的不平衡性，只能通过不断增加服务器硬件资源去分担执行引擎的计算调用，但是这又会使其它执行引擎得不到合理的分配，导致资源浪费。

发明内容

本发明的目的在于解决上述问题，提供一种能够节约计算资源成本并降低开发人员的开发成本及学习成本的大数据平台SQL任务执行引擎智能自动切换的方法。

本发明的目的通过下述技术方案实现：一种大数据平台SQL任务执行引擎智能自动切换的方法，包括以下步骤：

步骤1：获取原始SQL语句和执行参数信息；其中，执行参数信息包括是否有指定执行引擎、是否设置为SQL任务分配的CPU个数及内存资源；

步骤2：根据执行参数信息和原始SQL语句，计算决策出当前SQL任务适合的执行引擎及资源配置数据；

步骤3：根据执行引擎类型确认预先设计制作好的引擎落地执行程序包；

步骤4：将确认好的引擎落地执行程序包提交给确定好的执行引擎去执行，同时，将执行状态数据及占用的资源情况上报给服务器进行数据统计使用；

步骤5：SQL任务执行完成后，将任务的完成状态上报给服务器中进行业务终止数据统计及资源释放数据统计；

步骤6：用户通过前端页面展示查看返回任务执行结果及任务运行状态。

步骤2中计算决策出当前SQL任务适合的执行引擎及资源配置数据包括以下步骤：

S1：根据执行参数信息判定是否已指定执行引擎；是，以指定的执行引擎作为运行原始SQL语句的执行引擎；否，执行步骤S2；

S2：获取当前大数据集群的各执行引擎的当前任务个数和空闲资源以及所有服务器的公共空闲资源；

S3：根据步骤S2中获取到的数据，选择出最优的执行引擎；

S4：通过SQL解析器解析出原始SQL语句的函数列表；

S5：判定函数列表中是否有函数需要改造：是，统计需改造函数，并生成待改造函数列表，执行步骤S6；否，则不对原始SQL语句进行改造，直接输出选择好的执行引擎和原始SQL语句；

S6：根据预先设置好的引擎函数实现方式对待改造函数列表里的函数进行改造，得到改造SQL语句；