[发明专利]一种基于异构资源的Spark任务调度方法和系统

说明书

本发明公开了一种基于异构资源的Spark任务调度方法，包括以下步骤：服务端基于Linux命令获取系统所需资源信息并提交到资源管理器以创建集群管理器并完成初始化，服务端接收客户端提交的任务作业，并将该任务作业提交到创建的集群管理器，以将任务作业转换为多个弹性分布式数据集RDD，对得到的所有RDD进行解析，以得到表征多个RDD之间依赖关系的RDD图，服务端根据RDD图中所有RDD之间的依赖关系生成调度阶段的DAG图，服务端将DAG图中的所有RDD按照其对应的依赖关系划分为第一任务阶段、第二任务阶段以及第三任务阶段。本发明能够从各方面解决性能优化问题并解决现有任务调度系统由于资源管理器仅限于收集CPU核数导致系统资源浪费的技术问题。

技术领域

本发明属于计算机技术领域，更具体地，涉及一种基于异构资源的Spark任务调度方法和系统。

背景技术

任务调度是操作系统的重要组成部分，而对于实时操作系统，任务调度直接影响其实时性能，任务调度系统在数据平台中算是非常核心的组件了。在日常的数据处理中，定时运行一些业务是很常见的事，比如定时从数据库将新增数据导入到数据平台，将数据平台处理后的数据导出到数据库或者是文件系统；可以这么说，任务调度系统类似于军队的司令，指挥着数据平台上的各个组件的运行，时刻监督着任务的运行情况。

然而，传统的任务调度系统存在一些不可忽略的缺陷：第一，传统资源管理器仅限于收集CPU核数而不包括CPU类型的详细信息以及其他相关的计算算力评估，从而造成系统资源浪费；第二、spark任务调度过程中涉及大量的RDD数据重组操作且重组操作过程中性能优化较差从而大大降低运行效率，且不支持通过运行结果实时对资源管理器实现状态更新从而设置异常检测。第三、传统的任务调度系统在任务节点执行过程中并未选取高效存储的数据结构导致在运行过程中丧失高效性能。第四、在spark任务调度过程中得到的运行结果不会实时更新到资源管理器，以致于运行异常但运行仍在进行。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于异构资源的Spark任务调度方法。其目的在于，解决现有任务调度系统由于资源管理器仅限于收集CPU核数导致系统资源浪费的技术问题，以及由于spark任务调度过程中涉及大量的RDD数据重组操作，且重组操作过程中性能优化较差，导致大大降低运行效率、且不支持通过运行结果实时对资源管理器实现状态更新从而设置异常检测的技术问题，以及在任务节点执行过程中并未选取高效存储的数据结构导致在运行过程中丧失高效性能的技术问题，以及在spark任务调度过程中得到的运行结果不会实时更新到资源管理器，以致运行异常不能被检测到的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于异构资源的Spark任务调度方法，具体包括以下步骤：

一种基于异构资源的Spark任务调度方法，包括以下步骤：

(1)服务端基于Linux命令获取系统所需资源信息并提交到资源管理器以创建集群管理器并完成初始化；

(2)服务端接收客户端提交的任务作业，并将该任务作业提交到步骤(1)创建的集群管理器，以将任务作业转换为多个弹性分布式数据集RDD，对得到的所有RDD进行解析，以得到表征多个RDD之间依赖关系的RDD图；

(3)服务端根据步骤(2)中得到的RDD图中所有RDD之间的依赖关系生成调度阶段的有向无环图(Directed Acyclic Graph，简称DAG)；

(4)服务端将DAG图中的所有RDD按照其对应的依赖关系划分为第一任务阶段、第二任务阶段以及第三任务阶段。

(5)服务端设置计数器i＝1；

(6)服务端判断i是否大于步骤(4)中DAG图中RDD总数，如果是则流程结束，否则进入步骤(7)；