[发明专利]Spark-SQL调度的方法、系统、设备及存储介质

摘要

本发明实施例公开了一种Spark‑SQL调度的方法、系统、设备及存储介质。该方法包括：Spark执行引擎接收用户的SQL查询请求；Spark执行引擎根据用户配置信息查找对应的SparkThriftServer配置角色信息；将查找到的配置角色信息与用户配置信息一致的待调度的SparkThriftServer；调度待调度的SparkThriftServer执行SQL查询请求。本发明实施例通过根据用户配置信息查找对应的配置角色信息确定待调度的SparkThriftServer执行SQL查询请求，以实现解决多用户同时执行SQL任务造成Spark拥堵的问题，帮助分析人员快速的完成业务。

主权项

一种Spark‑SQL调度的方法，其特征在于，包括：Spark执行引擎接收用户的SQL查询请求，所述SQL查询请求包括用户配置信息；所述Spark执行引擎根据用户配置信息查找对应角色下的SparkThriftServer的SparkThriftServer配置角色信息；所述Spark执行引擎将查找到的配置角色信息与所述用户配置信息一致的SparkThriftServer通过最小值算法确定待调度的SparkThriftServer；所述Spark执行引擎调度所述待调度的SparkThriftServer执行所述SQL查询请求。