[发明专利]一种面向大数据平台的两阶段作业调度方法及系统

说明书

本发明涉及一种面向大数据平台的两阶段作业调度方法及系统，将用户提交的作业形成待调度作业集合，基于作业最晚开始时间的最大收益调度：根据作业的截止时间对平台的资源进行预分配，并根据作业的收益比对资源预分配的结果进行调整和调度，得到使服务商的收益最大的资源预分配作业调度结果队列；基于平台最大资源利用率的作业调度：根据平台的资源使用情况，对上述的资源预分配作业调度结果队列进行微调整得到最终调度结果队列，保证平台收益最大的前提下使平台的资源利用率达到最高。实验结果表明，本发明不仅实现了平台收益最大化，而且也提高了平台的资源利用率，提升了平台的综合性能。

技术领域

本发明属于大数据计算的技术领域，尤其涉及一种面向大数据平台的两阶段作业调度方法及系统。

背景技术

近年来，随着云计算和互联网技术的蓬勃发展，数据显现出爆发式的持续增长模式，大数据时代悄然到来。传统的数据处理技术和工具已经无法满足新时代的数据处理要求，因此大数据平台应运而生。大数据平台支持多种计算框架，可以为多个用户同时提供服务。然而在大数据平台中，多用户共享平台的资源，对于平台提供商而言，如何高效地调度多用户的作业，既能充分利用平台的资源，又能满足绝大多数用户的SLA需求，使自己的收益最大，已然成为了一个亟待解决的问题。

目前，已有很多研究者针对大数据平台中的作业调度问题进行了深入研究，并提出了很多解决方法。Zhang Z等人发表的《Optimizing Completion Time and ResourceProvisioning of Pig Programs》针对Pig作业提出了基于截止时间预估的资源配置性能优化模型，该模型消除了pig程序执行并发作业中的非确定性问题，然而该模型并没有考虑平台收益的问题。Liu等人提出了基于优先级的作业并行调度方法，该方法利用虚拟技术将每个节点的计算能力划分为前台虚拟机(具有较高的CPU优先级)层和后台虚拟机(具有较低的CPU优先级)层，通过两个层级的划分，该方法均衡了平台的负载，充分地利用了平台的CPU资源，有效度提高了作业的执行效率，缩短了作业的响应时间，但是这种调度方法并没有考虑平台收益的问题。由此可见，现有的研究成果针对不同约束条件、不同背景下的作业调度问题进行了深入研究，并取得了一系列成果，但是这些成果中的方法都没有考虑平台收益的问题，更未同时考虑平台收益最大化和平台资源利用率最大化的问题。

大数据平台可以同时为多个用户服务，对于平台服务提供商而言，合理地调度这些用户服务不仅可以同时满足多用户的需求，增加自己收益，还可以提高平台利用率，多用户作业执行过程如图1所示。

从图1可知，平台中有三个用户的6个作业，每个用户各两个作业，当用户提交完作业以后，平台服务提供商会根据平台的资源、与用户签订的SLA协议等对作业进行调度并生成执行队列，结果如图1所示。当用户的作业执行完毕后，服务商可以获得相应的收益。理想情况下，平台的资源足够，可以满足所有用户的需求，此时服务商的收益也是最大的；但是现实中，平台的资源是有限的，并且很有可能不能满足所有用户的需求，对于平台服务提供商而言，将面临以下问题：

(1)根据平台中可以用的资源和用户的SLA需求，如何调度多用户的作业，才能使自己的收益最大；

(2)在(1)的基础上，假设已经生成了一个可以使服务商的收益最大的作业执行队列，如何调整作业执行队列既能保证收益最大，又能进一步提高平台的资源利用率。

综上所述，如何在大数据平台中同时解决平台收益最大化和平台资源利用率最大化的问题，尚缺乏有效的解决方案。

发明内容

本发明为了解决上述问题，提供一种面向大数据平台的两阶段作业调度方法。本发明的调度方法综合考虑了作业的截止期限约束、平台的最大收益和最大资源利用率等约束条件，采用基于收益和资源的两阶段作业调度方法，该调度方法不仅可以满足大数据平台用户的作业截止时间要求，还可以保证实现平台收益最大化的同时实现平台资源利用率最高。