[发明专利]一种数据任务的调度方法、装置、设备及可读存储介质在审
申请号: | 201810040145.2 | 申请日: | 2018-01-16 |
公开(公告)号: | CN108255595A | 公开(公告)日: | 2018-07-06 |
发明(设计)人: | 冯仕炳;王能;鹿凌华 | 申请(专利权)人: | 北京中关村科金技术有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
地址: | 100025 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种数据任务的调度方法,首先以预定义规则从各数据任务中选取待执行数据任务,然后确定每个待执行数据任务在执行时所需的占用资源,其次,根据占用资源确定集群空闲资源能运行的待执行数据任务数量最多的方案,最后将方案中包含的待执行数据任务作为目标数据任务并执行。因此,根据集群空闲资源的空闲情况确定其能容纳最多的待执行数据任务的数量,从而提高了集群空闲资源的利用率和数据任务的执行效率。同时,由于集群空闲资源中能执行最多数量的数据任务,在提高各数据任务并行度的同时,缩短了所有数据任务在集群上持续运行的总时长。本发明还公开了一种数据任务的调度装置、设备及可读存储介质同样能实现上述技术效果。 | ||
搜索关键词: | 集群 空闲资源 可读存储介质 占用资源 调度 预定义规则 持续运行 调度装置 技术效果 目标数据 并行度 总时长 空闲 容纳 | ||
【主权项】:
1.一种基于大数据集群的数据任务调度方法,其特征在于,包括:以预定义规则从各数据任务中选取待执行数据任务;确定各所述待执行数据任务在执行时所需的占用资源;根据与各所述待执行数据任务对应的所述占用资源确定集群空闲资源能运行的所述待执行数据任务数量最多的方案;将所述方案中包含的所述待执行数据任务作为目标数据任务并执行。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京中关村科金技术有限公司,未经北京中关村科金技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810040145.2/,转载请声明来源钻瓜专利网。