[发明专利]一种云计算平台中计算资源能力动态评估方法

说明书

本发明公开了一种云计算平台中计算资源能力动态评估方法：依据云计算中负载大多为大规模并行而设计，通常包含多个执行逻辑相同或相似的任务的特性，通过分析多个执行逻辑相同或相似的任务在不同计算资源上执行的信息以及节点运行时信息对CPU、内存、磁盘带宽、网络带宽等计算资源的能力进行动态评估。本发明在保证评估值时效性、精确性的情况下，具有极低的运行时开销。本发明动态评估产生的结果可以用在云计算平台资源管理、作业调度、负载均衡、平台容错等方面，提高平台中计算资源的利用效率，最终提升云计算平台的整体吞吐率。

技术领域

本发明属于计算机领域，涉及云计算平台中的资源监控及管理系统，特别涉及计算资源能力评估方法。

背景技术

云计算是一种基于互联网的计算方式，通过这种方式，用户可以按需获取计算资源、计算能力。云计算平台的基础设施一般由许多计算机节点通过高性能网络互联而成，其将众多节点组织成高性能、高可用、可扩展的单一映像，提供给用户使用。

随着云计算应用的日益广泛，用户的需求也日益增长，云计算平台会对其基础设施进行更新换代及规模扩充，这造成平台中的各个计算机节点的计算资源能力存在先天差异。另外，负载在节点间的分布不同，也导致原本计算能力相同的节点在运行时出现性能差异。

各种因素导致的节点计算资源能力的差异给云计算资源管理及作业调度带来了新的问题：

首先，云计算平台分配资源时，无法精确衡量计算资源(CPU、内存、磁盘带宽、网络带宽等)与负载资源需求的适配性，分配资源少于需求时，共享计算资源的负载间发生竞争，造成性能低下；分配资源多于需求时，计算资源未被充分利用，存在资源浪费。

其次，云计算平台负载均衡时，无法准确获得各节点计算资源情况，负载分布的调整、迁移均缺乏依据，大大降低了负载均衡的有效性。

最后，云计算平台负载容错时，为了避免单个任务拖慢整个作业，需要挑选性能较好的节点启动任务的冗余执行，由于计算资源能力的持续变化的差异性，执行冗余任务的节点的选择也缺乏依据。

因此，如何对计算资源的能力进行量化评估，并在管理、调度、负载均衡、容错时屏蔽计算资源的差异性，成为了云计算平台研究中的重要问题。对计算资源能力进行动态的量化评估可以为资源管理、作业调度、负载均衡、任务容错等方面提供有力支持，从而提高系统的吞吐率。

亚马逊公司的弹性云计算平台EC2使用ECU衡量CPU计算资源的性能，ECU被定义为一颗1.0-1.2GHz 2007年生产的Opteron或者Xeon处理器的计算能力。ECU被用于申请和配置计算资源，但是并不能动态评价运行中计算资源能力。

开源云计算平台YARN中使用虚拟核作为CPU资源的分配单位，但是物理CPU对应的虚拟核数目由管理员指定，因此也不能动态评价运行中计算资源能力。

发明内容

针对上述现有技术存在的缺陷和不足，本发明的目的在于提供一种云计算平台中计算资源能力动态评估方法。

为了实现上述目的，本发明采用了以下技术方案：

本发明依据云计算负载含有多个执行逻辑相同或相似的任务的特性，通过分析执行逻辑相同或相似的任务在不同节点计算资源上执行的信息和节点运行时信息，对节点计算资源的能力进行运行时动态评估，得到节点计算资源能力的动态评估值。

所述计算资源为CPU资源、内存资源或磁盘带宽资源。

对CPU资源能力的动态评估按照CPU型号分别进行，CPU资源能力的评估因素包括CPU空闲时间百分比、IPC、IO等待时间百分比、节点平均负载、cache失效率和上下文切换次数，CPU资源能力的动态评估值与CPU空闲时间百分比、IPC成正比，而与IO等待时间百分比、节点平均负载、cache失效率、上下文切换次数成反比。