[发明专利]任务调度方法及装置、计算机可读存储介质

说明书

本公开涉及一种任务调度方法及装置、计算机可读存储介质。任务调度方法包括：获取多个待调度任务；确定与每个待调度任务相关的业务特征、技术特征和资源特征；和根据与每个待调度任务相关的业务特征、技术特征和资源特征，对多个待调度任务进行动态任务调度。

技术领域

本公开涉及计算机技术领域，特别涉及一种任务调度方法及装置、计算机可读存储介质。

背景技术

随着大数据(big data)时代的到来，企业中每天存在海量的大数据计算，用于支撑企业营销和运营。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要有5个特点：大量(Volume)、高速(Velocity)、多样(Variety)、低价值密度(Value)、真实(Veracity)。

在企业大数据平台中或数据中心中或数据仓库环境会存在大量的Hadoop批处理计算任务、Spark实时计算任务、Presto即席查询计算任务、Flink实时计算任务等，任务数量规模包括万级、十万级、百万级规模等等。批处理是对某对象进行批量的处理，通常被认为是一种简化的脚本语言，它应用于DOS和Windows、linux、大数据、云计算等系统中。实时计算是一种时间复杂性较低的计算，支持实时的数据分析与业务计算，对规模巨大的数据进行分析，利用大数据技术高效的快速完成分析，达到近似实时的效果，能够更及时地反映数据的价值和意义。

对于这样海量的大数据计算任务，其研发人员往往是分布在不同的子集团、子公司、业务部门，可能会出现各子公司、部门的研发人员提交到大数据作业的任务优先级、执行时间的设置存在片面性，造成大数据平台资源使用在一部分时段出现拥堵，而在另一部分时段出现空闲。即，使得大数据平台资源不能得到最大程度利用，并且任务时效也难以保障。

相关的大数据调度系统或工作流管理系统大致分为两类：一类是底层物理计算资源管理调度系统，例如Yarn、Kubernetes、Borg、Mesos等系统；另一类是基础任务调度管理调度系统，例如Oozie、Apache Airflow、Azkaban、DolphinScheduler等系统。

发明内容

以上底层物理计算资源管理调度系统和基础任务调度管理调度系统这两类系统存在如下问题中的至少一种：

1)侧重底层资源的调配，忽略了上层业务应用的宏观调度，或者依赖人为主观干预，导致调度的频繁低效；

2)由于用户分布在不同的部门，任务时间的安排又依赖人工设置，故容易出现在一部分时段内集群计算资源空闲，而在另一部分时段内任务资源抢占，造成集群的整体资源利用率低；

3)在物理集群硬件计算资源有限、任务数量又剧烈增长的情况下，在个别时段内由于不同任务重要程度的任务争抢计算资源，可能导致重要任务的时效反而无法获得保障。

鉴于此，本公开提出一种任务调度方案，能够解决上述问题中的至少一种。

根据本公开的一些实施例，提供了一种任务调度方法，包括：

获取多个待调度任务；

确定与每个待调度任务相关的业务特征、技术特征和资源特征；和

根据与每个待调度任务相关的业务特征、技术特征和资源特征，对多个待调度任务进行动态任务调度。

在一些实施例中，技术特征包括待调度任务的任务类型，根据与每个待调度任务相关的业务特征、技术特征和资源特征，对多个待调度任务进行动态任务调度包括：

根据与待调度任务相关的业务特征，确定各个任务之间的血缘关系；

根据各个任务之间的血缘关系，计算待调度任务的层级评分；