[发明专利]一种云计算平台中细粒度资源匹配方法

说明书

本发明公开了一种云计算平台中细粒度资源匹配方法，属于计算机领域，基于云计算负载中执行逻辑相同任务推测任务执行时间及各种资源需求量，根据任务资源需求划分任务执行阶段并分阶段匹配资源需求避免资源碎片、过度分配等问题，在资源匹配过程中将计算资源抽象为可压缩和不可压缩两种类型，并在必要时压缩资源分配进一步提高资源利用率。本发明在分配时间、资源量两方面提高匹配粒度的同时，具有较低的调度平均响应时间。本发明可以应用在各云计算平台资源管理、作业调度等方面，避免资源碎片和过度分配等问题，提高平台中计算资源的利用效率，最终提升云计算平台的整体吞吐率。

技术领域

本发明属于计算机领域，涉及云计算平台中的资源管理和作业调度方法，具体涉及一种云计算平台中细粒度资源匹配方法。

背景技术

云计算是一种基于互联网的计算方式，通过这种方式，用户可以按需获取计算资源、计算能力。云计算平台的基础设施一般由许多计算机节点通过高性能网络互联而成，其将众多节点组织成高性能、高可用、可扩展的单一映像，提供给用户使用。

云计算平台的资源管理中通常基于一种资源(通常是内存)或者将两种固定量的计算资源捆绑定义为slot，并以slot作为资源分配的单位。由于云计算中负载对资源的需求具有多样性，基于固定单位的资源分配方式很容易产生资源碎片而造成资源浪费，或因为过度分配引发不良的资源共享。有些资源(如CPU)的不良共享会导致任务之间竞争资源，执行时间大幅增加。在数据中心中，超过53％的落后任务是由不良共享引发的高资源利用率造成的，并且4％-6％的非正常任务影响着37％-49％的作业，造成作业完成时间的大幅延长。而有些资源(比如内存)的过度分配会直接导致任务失败或者服务器崩溃。

现有的Yarn、Fuxi、Borg等云计算资源管理平台和Apollo、Omega、Tetris、DRF、Carbyne等云计算调度算法基于作业的资源申请分配固定量资源，以避免资源碎片、过度分配等问题。由于作业的资源申请量通常由人为指定，资源申请与实际使用之间存在很大差异。另外，任务的资源使用量波动很大，不会一直保持在峰值，作业使用任务最大资源使用量作为申请量时，资源申请量与实际使用量之间依然存在差异。因此资源管理平台或者调度器按照资源申请量进行分配时，资源碎片依然存在。基于资源申请的分配方式很难取得高资源利用率，该方式一定程度上限制了集群的资源利用率。

因此，如何在云计算资源管理和作业调度中避免资源碎片及过度分配，成为了云计算平台研究中的重要问题。

发明内容

本发明的目的在于提供一种云计算平台中细粒度资源匹配方法，该方法在分配时间、资源量两方面提高匹配粒度的同时，具有较低的调度平均响应时间，能够有效提高平台中计算资源的利用效率，提升云计算平台的整体吞吐率。

本发明是通过以下技术方案来实现：

本发明公开了一种云计算平台中细粒度资源匹配方法，包括以下步骤：

步骤1：将云计算平台中服务器的角色分为计算服务器和管理服务器两种，计算服务器负责具体负载的执行，并定期向管理服务器汇报资源状态；管理服务器负责整个云计算平台的管理工作，包括向计算服务器分配计算任务；

步骤2：管理服务器接收各计算服务器定期汇报的信息，并依据相似任务和资源压缩率推测某个任务的各种资源需求和持续时间；

其中，相似任务指负载中与所述某个任务具有相同执行逻辑且输入数据量相同的任务；

步骤3：管理服务器分析推测得出的任务各进度的CPU、内存空间资源需求，将任务划分为多个执行阶段；

步骤4：管理服务器从待调度集合中挑选任务，分阶段匹配任务资源需求和服务器可用计算资源，并根据需要压缩匹配资源需求；