[发明专利]分布式任务调度方法、装置、计算机设备及存储介质在审
申请号: | 201911183995.9 | 申请日: | 2019-11-27 |
公开(公告)号: | CN112860387A | 公开(公告)日: | 2021-05-28 |
发明(设计)人: | 张杨 | 申请(专利权)人: | 上海哔哩哔哩科技有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 北京英特普罗知识产权代理有限公司 11015 | 代理人: | 程超 |
地址: | 200433 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 任务 调度 方法 装置 计算机 设备 存储 介质 | ||
1.一种分布式任务调度方法,其特征在于,包括以下步骤:
主节点接收待执行任务,获取与所述待执行任务相对应的资源消耗对象,其中所述资源消耗对象用于表征运行所述待处理任务时消耗最多的资源对象;
获取多个从节点的资源状态信息,其中所述资源状态信息包括所述从节点当前运行的进程数目,以及所述从节点当前剩余的资源数值;
基于所述资源消耗对象,将当前运行的进程数目符合预设的第一规则,并且当前剩余的资源数值符合预设的第二规则的从节点作为目标从节点;
将所述待执行任务分配给所述目标从节点处理。
2.根据权利要求1所述的分布式任务调度方法,其特征在于,所述资源消耗对象包括第一资源和第二资源,所述基于所述资源消耗对象,将当前运行的进程数目符合预设的第一规则,并且当前剩余的资源数值符合预设的第二规则的从节点作为目标从节点的步骤包括:
将当前运行的进程数目小于内核总数的从节点作为候选从节点;
当所述资源消耗对象为第一资源时,将当前剩余的第一资源数值最大的候选从节点作为目标从节点;
当所述资源消耗对象为第二资源时,将当前剩余的第二资源数值最大的候选从节点作为目标从节点。
3.根据权利要求2所述的分布式任务调度方法,其特征在于,所述将当前运行的进程数目小于内核总数的从节点作为候选从节点的步骤还包括:
将当前剩余的第一资源数值大于第一资源限额,并且当前剩余的第二资源数值大于第二资源限额的从节点作为候选从节点,其中所述第一资源限额和所述第二资源限额是由所述主节点预先设置的。
4.根据权利要求3所述的分布式任务调度方法,其特征在于,所述将所述待执行任务分配给所述目标从节点处理的步骤之后,还包括:
监测所述目标从节点处理所述待执行任务时消耗的第一实际资源值和第二实际资源值;
根据所述第一实际资源值和第二实际资源值调整所述第一资源限额和所述第二资源限额。
5.根据权利要求1所述的分布式任务调度方法,其特征在于,所述获取多个从节点的剩余资源信息的步骤包括:
从资源状态表中获取多个从节点的剩余资源信息,其中所述资源状态表中的所述剩余资源信息是由所述从节点上报给所述主节点,或者是由所述主节点根据所述从节点最近一次的上报的剩余资源信息减去最近一次的任务分配信息计算得到的。
6.根据权利要求5所述的分布式任务调度方法,其特征在于,所述从资源状态表中获取多个从节点的剩余资源信息的步骤包括:
获取最近一次获取到所述从节点上报剩余资源信息的第一时刻;
获取最近一次向所述从节点分配任务的第二时刻;
若所述第一时刻早于所述第二时刻,将所述从节点上报的当前剩余的第一资源数值减去所述第一资源限额作为所述资源状态表中的第一剩余资源信息,将所述从节点上报的当前剩余的第二资源数值减去所述第二资源限额作为所述资源状态表中的第二剩余资源信息;
若所述第一时刻不早于所述第二时刻,将所述从节点上报的剩余资源信息作为所述资源状态表中的剩余资源信息。
7.根据权利要求1所述的分布式任务调度方法,其特征在于,所述主节点接收待执行任务,获取与所述待执行任务相对应的资源消耗对象的步骤包括:
所述主节点接收待执行任务,获取所述待执行任务中包含的任务类型;
根据预设的匹配关系,获取与所述任务类型相匹配的资源消耗对象。
8.根据权利要求1所述的分布式任务调度方法,其特征在于,所述资源消耗对象包括CPU资源和内存资源。
9.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海哔哩哔哩科技有限公司,未经上海哔哩哔哩科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911183995.9/1.html,转载请声明来源钻瓜专利网。