[发明专利]一种服务于多网格接入的集群任务调度管理器

说明书

技术领域

本发明涉及一种服务于多网格接入的集群任务调度管理器，属接入网格后的计算机集群调度管理技术领域。

背景技术

高性能计算机的发展趋势正从传统的专用超级计算机平台转变到低成本且通用、松耦合、由单一或者多个处理器的计算机或者工作站构成的集群系统。这种集群系统有很多的优势，包括可以按照给定的任务建造平台，以适应较大型的应用程序和工作负荷等。很多单位因为科研与工作的需要而购买或者研制了高性能计算集群系统，而且购买了相关的在集群上使用的系统软件与应用软件。但这些单位在集群的管理与维护上都面对着一个的问题，就是集群的资源利用率的问题。作为一个单位而言，它不可能每天都有大量的运算任务让集群去计算。而且好多购买集群的单位也不是计算机专业研究单位，只是用集群来为其做科研计算或者工程计算等。因此，在集群系统的使用上，集群的利用率非常低，但每天用在集群上的开销是一种很大的浪费，集群系统每天是开机运行状态，但CPU、内存、硬盘、网格等的利用率却很低。

而另一方面，一个单位上的集群的计算能力在某些时候，不能保证任务的性能需求，但这种情况又不是很多，如果就因为这种个别情况，而再去花大量的经费去购买新的集群系统，也会增大科研的成本，造成科研经费的紧张，同时，对集群的效率而言也很低。而通过网格技术，可以把分布在不同地点的、不同单位的、不同计算节点的各种计算和信息服务资源，例如计算能力、存储能力和信息服务能力，整合为一个单一的(虚拟的)系统。大规模高性能计算需求以及计算机和网络技术的发展促进了计算网格的诞生，充分利用已有资源更好地为用户服务，甚至求解人类不曾或者很难解决的问题。在单位的集群系统，比较空闲时，可以将这部分空闲资源共享到网格中去，当自己的资源紧张时，可以通过网格获取更多的可用资源，实现资源的动态高效利用。

因为很多网格是服务于某一项科研工作的需要的专用网格，因此，一台集群系统可能要接入到多个网格系统中，即多网格接入。多网格接入一方面，使集群系统的性能得到了更好的发挥，同时，也会使得本单位从不同的网格中获取了现多的有用资源。但多网格接入也会给集群系统的任务与资源管理带来了很多的问题。集群上现有的任务与资源管理系统与方法已经不能满足多网格接入以后的任务调度与管理需求，因此，需要有新的能够满足在多网格接入的条件下的任务调度与管理系统。

发明内容

本发明的目的是，为了使集群在多网格接入时，能够及时而高效地为每个网格上的任务分配集群资源，同时有效地管理好集群上的每个任务，本发明公开了一个服务于多网格接入的集群任务调度管理器，使网格用户与集群用户对集群系统上的资源的利用与任务的管理更加灵活与方便。

本发明的技术方案是，所述服务于多网格接入的集群任务调度管理器包括任务分类与任务优先级划分策略、本地任务的资源预约占用策略和任务的调度与资源分配策略。

任务分类与任务优先级划分策略：

任务首先分为本地提交任务LT与网格提交任务GT。其中GT又根据集群接入的网格的不同分为某网格的GT(G1)、GT(G2)、……、GT(GN)。任务的优先级P为P_LT＞P_GT(G1)＞P_GT(G2)＞……＞P_GT(GN)。当集群系统内的本地用户通过集群本地任务管理系统向集群提交任务时，则该任务为本地提交任务LT，如果该用户通过网格来提交该任务时，则如果该任务向集群申请资源时，被认为是该网格的任务GT。

本地任务的资源预约占用策略：