[发明专利]资源调度系统以及方法

说明书

本说明书实施例提供资源调度系统以及方法，其中所述资源调度系统包括：任务处理器、调度器以及资源处理节点；其中，任务处理器，被配置为根据待处理任务的任务信息确定目标子任务，并确定目标子任务中的子任务单元，向调度器提交目标子任务的资源获取请求；调度器，被配置为响应于资源获取请求获取初始处理节点的可调度资源信息，根据资源获取请求以及可调度资源信息计算目标子任务的资源调度结果，并将资源调度结果发送至任务处理器以及资源处理节点；任务处理器，被配置为根据资源调度结果向资源处理节点发送子任务单元；资源处理节点，被配置为接收资源调度结果以及子任务单元，基于资源调度结果对应的目标资源执行子任务单元。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及资源调度系统以及方法。

背景技术

随着互联网的发展，通常需要一个庞大的资源系统支撑线上丰富的项目形态，搜索、电商、大数据、数据库等等，在线机器规模如此之大，若将其利用率提升百分之一，都会带来成本的巨大节省。因此提升集群利用率一直都是集团各大调度团队的核心目标之一。但混部的挑战也是巨大的，其中最核心的挑战是如何提供一套资源共享机制(全局、单机)，在保障各应用SLA(Service-Level Agreement，服务等级协议)的前提下，达成集群利用率提升的目标。

当前在线集群的特点是低并发场景的调度(容器只要一次启动、不需要频繁调度)，主要解决容器的编排、管理等问题，更适合任务长时间运行的场景。但在大数据计算高并发作业的场景，没有有效的解决方案。并且K8S调度系统是面向低并发、精细化资源编排管理的调度场景的。无论是在调度协议还是调度器设计上，K8S调度系统都无法支持高并发的调度能力。因此，亟需提供一种解决上述问题的方案。

发明内容

有鉴于此，本说明书实施例提供了一种资源调度系统。本说明书一个或者多个实施例同时涉及三种种资源调度方法，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种资源调度系统，包括：

任务处理器、调度器以及资源处理节点；

其中，所述任务处理器，被配置为根据待处理任务的任务信息确定目标子任务，并确定所述目标子任务中的子任务单元，向所述调度器提交所述目标子任务的资源获取请求；

所述调度器，被配置为响应于所述资源获取请求获取初始处理节点的可调度资源信息，根据所述资源获取请求以及所述可调度资源信息计算所述目标子任务的资源调度结果，并将所述资源调度结果发送至所述任务处理器以及所述资源处理节点；

所述任务处理器，被配置为根据所述资源调度结果向所述资源处理节点发送所述子任务单元；

所述资源处理节点，被配置为接收所述资源调度结果以及所述子任务单元，基于所述资源调度结果对应的目标资源执行所述子任务单元。

可选地，所述任务处理器，进一步被配置为：

根据所述待处理任务的任务信息确定子任务信息以及子任务执行顺序；根据所述子任务信息以及所述子任务执行顺序提取所述待处理任务中的目标子任务；根据所述目标子任务的目标子任务信息创建所述目标子任务中的子任务单元，并确定所述子任务单元的资源获取子信息；基于所述资源获取子信息创建所述目标子任务的资源获取请求，并向所述调度器提交所述资源获取请求。

可选地，所述任务处理器，进一步被配置为：

根据所述资源调度结果在所述子任务单元中筛选目标子任务单元；基于所述资源调度结果向所述资源处理节点发送所述目标子任务单元；

相应地，所述资源处理节点，进一步被配置为：