[发明专利]一种云平台中计算实例的管理方法及系统

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种云平台中计算实例的管理方法及系统。

背景技术

云计算平台具有诸多优点，如节省管理和维护成本，定期的硬件升级，云计算平台在经济上和用户体验上对于高性能计算用户具有强大的吸引力，高性能计算用户将它用作主要的计算平台在经济上和操作上也越来越具有可行性。

现有的高性能计算用户提交的作业大多是短作业，例如对美国圣地亚哥超算中心公开的Data Star系统工作负载的统计显示：大约70％的作业是运行时间少于1小时的短作业。用户在云平台上运行这些短作业并不方便。一方面，现有云平台普遍按小时计费，这些短作业的计算实例利用率较低。另一方面，高性能计算用户使用云计算实例必须经过申请和系统配置两个阶段，实践显示有5-10分钟的等待时间。为了提高利用率，降低等待时间，用户会考虑把几个短作业积累起来一起运行。然而这些短作业往往是用户在调试程序、试验算法，需要立即执行。总之，现有的云平台下，高性能计算用户的作业等待时间长，计算实例的利用率低，对于高性能计算用户运行并行作业并不合适。

发明内容

本发明提供了一种云平台中计算实例的管理方法及系统，能够提高每个计算实例的利用率，降低作业等待时间。

一方面，本发明提供了一种云平台中计算实例的管理方法，所述方法包括：

接收单元接收用户的作业请求，存放到作业队列中；

并行作业调度单元查询和管理所述作业队列中的作业，安排所述作业运行，并为不能运行的作业做计算实例预留；

资源管理单元为可运行的作业安排运行用的计算实例；

所述资源管理单元根据作业队列中的等待状态和正在运行的作业的运行状态申请／释放计算实例。

进一步地，所述并行作业调度单元查询和管理所述作业队列中的作业，安排所述作业运行，并为不能运行的作业做计算实例预留，包括：

并行作业调度单元采用回填作业调度算法对所述作业队列中的作业进行管理，具体包括：动态计算每个作业的优先级，将所述作业在所述作业队列中排序，按照排序顺序安排作业运行，当作业没有足够的计算实例可以运行时，根据作业脚本中给出的运行时间估计给队首的至少一个不能立即运行的高优先级作业做计算实例预留，将低优先级的小作业回填到计算实例预留所形成的孔洞中；

所述回填作业调度算法由触发事件触发，所述触发事件包括：有新作业到达，有正在运行的作业完成，有申请的新计算实例就绪。

进一步地，所述并行作业调度单元查询和管理所述作业队列中的作业，安排所述作业运行，并为不能运行的作业做计算实例预留，包括：

并行作业调度单元预测队首作业不能在预设的时间门限内开始运行时，通知资源管理单元申请新的计算实例，为队首作业重新做计算实例预留。

进一步地，所述资源管理单元根据作业队列中的等待状态和正在运行的作业的运行状态进行申请计算实例，包括：

资源管理单元根据当前作业队列的等待状态和正在运行的作业的运行状态，利用一个预设的门限值把作业队列中的短作业与长作业分离开，计算长作业与短作业的计算实例的需求之和，根据所述计算实例的需求之和申请计算实例；和／或，

所述资源管理单元根据作业队列中的等待状态和正在运行的作业的运行状态进行释放计算实例，包括：释放剩余租用时间少于释放检查周期的空闲计算实例。

进一步地，所述方法还包括：

日志单元记录系统日志；

工作负载预测单元分析所述系统日志，预测计算实例的需求；

所述资源管理单元根据所述工作负载预测单元预测的计算实例的需求申请／释放计算实例。

另一方面，本发明提供了一种云平台中计算实例的管理系统，所述系统包括：

接收单元，用于接收用户的作业请求，存放到作业队列中；

并行作业调度单元，用于查询和管理所述作业队列中的作业，安排所述作业运行，并为不能运行的作业做计算实例预留；

资源管理单元，用于为可运行的作业安排运行用的计算实例，并根据作业队列中的等待状态和正在运行的作业的运行状态申请／释放计算实例。

进一步地，所述并行作业调度单元，用于采用回填作业调度算法对所述作业队列中的作业进行管理，具体包括：动态计算每个作业的优先级，将所述作业在所述作业队列中排序，按照排序顺序安排作业运行，当作业没有足够的计算实例可以运行时，根据作业脚本中给出的运行时间估计给队首的至少一个不能立即运行的高优先级作业做计算实例预留，将低优先级的小作业回填到计算实例预留所形成的孔洞中；