[发明专利]Spark-SQL调度的方法、系统、设备及存储介质

说明书

本发明实施例公开了一种Spark‑SQL调度的方法、系统、设备及存储介质。该方法包括：Spark执行引擎接收用户的SQL查询请求；Spark执行引擎根据用户配置信息查找对应的SparkThriftServer配置角色信息；将查找到的配置角色信息与用户配置信息一致的待调度的SparkThriftServer；调度待调度的SparkThriftServer执行SQL查询请求。本发明实施例通过根据用户配置信息查找对应的配置角色信息确定待调度的SparkThriftServer执行SQL查询请求，以实现解决多用户同时执行SQL任务造成Spark拥堵的问题，帮助分析人员快速的完成业务。

技术领域

本发明实施例涉及大数据调度技术领域，尤其涉及一种Spark-SQL调度的方法、系统、设备及存储介质。

背景技术

Spark技术已经是大数据技术中公认的最有发展、使用最多一门技术，是当前各行各业争相推动和依赖的技术。

Spark作为一个通用引擎，能够用来完成各种各样的运算，其中包括SQL查询、文本处理和机器学习等。在互联网、电子商务、消费金融等各种各样的行业中，大量数据分析人员每天运行数以万记的Spark-SQL任务作为数据分析和业务决策，但由于缓慢的HIVE分析技术已经不能满足日益增长的数据、分析速度和频次。

针对复杂、多样的SQL提交到Spark，常用的方案(beeline等方式)只能使用固定资源，不能智能的选择空闲Spark进行分析，分析人员也无法快速切换Spark，常常处于等待他人状态，浪费时间。

发明内容

本发明实施例提供一种Spark-SQL调度的方法、系统、设备及存储介质，以实现有效解决多用户同时执行SQL任务造成Spark拥堵的问题，智能选择出较空闲Spark来帮助分析人员快速的完成业务，节约分析人员的时间。

第一方面，本发明实施例提供了一种Spark-SQL调度的方法，该方法包括：

Spark执行引擎接收用户的SQL查询请求，所述SQL查询请求包括用户配置信息；

所述Spark执行引擎根据用户配置信息查找对应角色下的SparkThriftServer的SparkThriftServer配置角色信息；

所述Spark执行引擎将查找到的配置角色信息与所述用户配置信息一致的SparkThriftServer通过最小值算法确定待调度的SparkThriftServer；

所述Spark执行引擎调度所述待调度的SparkThriftServer执行所述SQL查询请求。

第二方面，本发明实施例还提供了一种Spark-SQL调度的系统，该系统包括：

请求接收模块，用于Spark执行引擎接收用户的SQL查询请求，所述SQL查询请求包括用户配置信息；

信息查找模块，用于所述Spark执行引擎根据用户配置信息查找对应角色下的SparkThriftServer的SparkThriftServer配置角色信息；

待调度确定模块，用于所述Spark执行引擎将查找到的配置角色信息与所述用户配置信息一致的SparkThriftServer通过最小值算法确定待调度的SparkThriftServer；

请求执行模块，用于所述Spark执行引擎调度所述待调度的SparkThriftServer执行所述SQL查询请求。

第三方面，本发明实施例还提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例任一所述的Spark-SQL调度的方法。