[发明专利]一种集中式作业调度系统、装置、电子设备及计算机可读存储介质

说明书

本申请提供一种集中式作业调度系统、方法、电子设备及计算机可读存储介质，应用于计算机领域。其中，该集中式作业调度系统包括：前端访问层，其用于从用户接收针对作业的请求；作业执行层，其包括至少一个执行节点并且用于执行所述作业中的本地作业；作业调度层，其包括调度主节点和至少一个调度从节点，并且所述调度主节点用于根据调度算法向所述至少一个执行节点派发所述作业；以及集群模块，其用于在所述调度主节点发生故障时，从所述至少一个调度从节点中重新确定调度主节点。本申请所提出的集中式作业调度技术方案不仅实现了整体化的资源管理和负载均衡，也不会在单个调度节点故障的情况下发生系统崩溃。

技术领域

本申请涉及计算机领域，具体而言，本申请涉及一种集中式作业调度系统、装置、电子设备及计算机可读存储介质。

背景技术

从系统架构设计的角度可将作业调度框架分为三类：两层式调度、集中式调度、分布式调度。

其中，两层式调度框架中，调度节点分为两层，第一层调度节点依据第二层调度节点负载情况向其分配作业，第二层调度节点实现具体作业的调度策略。两层式调度框架中，第二层调度节点只能掌握局部节点信息，不能实现集群整体的负载均衡。分布式调度框架中，集群中有多个调度节点，每个调度节点与部分执行节点通信，单个调度节点只能在局部范围内进行负载均衡调度，调度节点之间保持通信，实现系统信息的一致性。分布式调度框架中，也无法进行整体的资源管理及负载均衡。

集中式调度框架使用单节点主机保存所有作业执行节点资源情况及作业信息，通过作业调度策略和资源分配策略进行作业调度决策。现有集中式调度框架相比于另外两种调度框架而言，设计相对简单，实现难度相对低，但也更容易出现单点故障，导致整个调度系统崩溃。

发明内容

本申请提供一种集中式作业调度系统、装置、电子设备及计算机可读存储介质，不仅实现了整体化的资源管理和负载均衡，也不会在单个调度节点故障的情况下发生系统崩溃。本申请采用的技术方案如下：

第一方面，提出一种集中式作业调度系统，该系统包括：

前端访问层，其用于从用户接收针对作业的请求；

作业执行层，其包括至少一个执行节点并且用于执行所述作业中的本地作业；

作业调度层，其包括调度主节点和至少一个调度从节点，并且所述调度主节点用于根据调度算法向所述至少一个执行节点派发所述作业；以及

集群模块，其用于在所述调度主节点发生故障时，从所述至少一个调度从节点中重新确定调度主节点。

可选地，所述调度主节点和所述至少一个调度从节点向所述集群模块更新作业状态，并且从所述集群模块获取调度所需的作业状态。

可选地，所述作业状态包括作业信息、作业依赖的脚本和/或作业依赖的资源。

可选地，所述集中式作业调度系统还包括注册中心。所述注册中心用于使得所述调度主节点、所述至少一个调度从节点交替提供服务。

可选地，所述至少一个执行节点进一步是至少两个执行节点。

可选地，所述至少两个执行节点向所述集群模块更新作业状态，并且从所述集群模块获取调度所需的作业状态。

可选地，当执行节点之一上的作业资源依赖不存在或者所述执行节点之一上的作业资源依赖与所述集群模块上的作业资源依赖不一致，则将所述执行节点之一上的作业资源依赖更新为所述集群模块上的作业资源依赖。

可选地，所述作业执行层还用于将所述作业中的大数据作业提交至所述集群模块，以及所述集群模块还用于执行从所述作业执行层接收的所述大数据作业。

第二方面，提供一种集中式作业调度方法，包括：

调度主节点根据调度算法向执行节点派发作业；