[发明专利]任务调度方法、分布式系统及存储介质在审
申请号: | 202210187129.2 | 申请日: | 2022-02-28 |
公开(公告)号: | CN114579271A | 公开(公告)日: | 2022-06-03 |
发明(设计)人: | 田双坤;李鹏;苏雅诗 | 申请(专利权)人: | 阿里巴巴(中国)有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 陈雨柔 |
地址: | 310052 浙江省杭州市滨江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 任务 调度 方法 分布式 系统 存储 介质 | ||
1.一种任务调度方法,应用于分布式系统,所述分布式系统包括有多个数据节点,所述数据节点包括有多个NUMA节点;所述方法包括:
根据待调度任务所需资源以及各个所述数据节点的可分配资源,确定所述可分配资源大于所述所需资源的至少一个第一目标数据节点;
对于各个所述第一目标数据节点,根据所述待调度任务所需资源和各个所述NUMA节点的可分配资源,确定适合所述待调度任务运行的一个或多个目标NUMA节点;
根据各个所述第一目标数据节点中的一个或多个目标NUMA节点的负载,从所述第一目标数据节点中选取第二目标数据节点;所述第二数据节点的所述负载低于至少一半所述第一目标数据节点的所述负载;
将所述待调度任务部署到所述第二目标数据节点中的一个或多个目标NUMA节点上。
2.根据权利要求1所述的方法,所述根据所述待调度任务所需资源和各个所述NUMA节点的可分配资源,确定适合所述待调度任务运行的一个或多个目标NUMA节点,包括:
确定负载最低的NUMA节点的可分配资源是否满足所述待调度任务所需资源;
若是,将所述负载最低的NUMA节点确定为目标NUMA节点;
若否,按照NUMA节点的负载从小到大的顺序依次加入其它NUMA节点,直到加入的至少两个NUMA节点的可分配资源之和满足所述待调度任务所需资源或者所有NUMA节点均已加入,将所述加入的至少两个NUMA节点确定为目标NUMA节点。
3.根据权利要求1或2所述的方法,所述根据所述第一目标数据节点中的一个或多个目标NUMA节点的负载,从所述第一目标数据节点中选取第二目标数据节点,包括:
若所述第一目标数据节点包括一个目标NUMA节点,根据该目标NUMA节点的负载确定评估分数;
若所述第一目标数据节点包括多个目标NUMA节点,根据多个目标NUMA节点的负载的统计值确定评估分数;
将所述评估分数最低的第一目标数据节点确定为所述第二目标数据节点;
其中,所述NUMA节点包括多个处理器;所述NUMA节点的负载根据所述NUMA节点中的多个处理器的利用率的统计值确定。
4.根据权利要求1所述的方法,若所述数据节点的负载大于预设阈值,所述数据节点的可分配资源为第一可分配资源,所述第一可分配资源等于所述数据节点的总资源;
若所述数据节点的负载小于或等于所述预设阈值,所述数据节点的可分配资源为第二可分配资源,所述第二可分配资源大于所述第一可分配资源;
其中,所述数据节点的负载根据所述数据节点中的多个NUMA节点的负载的统计值确定。
5.根据权利要求4所述的方法,所述第二可分配资源的大小与所述数据节点的负载成正相关关系。
6.根据权利要求4所述的方法,所述第二可分配资源为以下三者中的最小者:
预设超卖比与所述数据节点的总资源的乘积,所述预设超卖比大于1;
所述数据节点的总资源和总已分配资源的乘积与总使用资源的比值;
所述数据节点的总资源和属于指定优先级的任务的已分配资源的乘积,与所述属于指定优先级的任务的使用资源的比值。
7.根据权利要求6所述的方法,若所述三者中的最小者小于预设的可分配资源,则所述第二可分配资源为所述预设的可分配资源,所述预设的可分配资源小于所述数据节点的总资源且大于所述数据节点的总资源的一半。
8.根据权利要求1所述的方法,还包括:
对于每个所述数据节点,若所述数据节点中的NUMA节点的负载超过第一预设阈值,冻结在所述NUMA节点中运行的属于第一优先级的任务;其中,所述NUMA节点运行有属于第一优先级的任务和属于第二优先级的任务,所述属于第二优先级的任务的时延要求高于属于第一优先级的任务的时延要求。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴(中国)有限公司,未经阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210187129.2/1.html,转载请声明来源钻瓜专利网。