[发明专利]用于调度工作流作业的设备和方法

说明书

（多个）相关申请

本申请要求2013年2月14日提交的韩国专利申请第10-2013-0015841号的权益，由此通过引用对其进行合并，如同全部在这里阐明一样。

技术领域

本发明涉及调度工作流作业的技术，并更具体地，涉及能够通过在高性能计算系统中自动运行大规模并行分布作业来获得结果的、适于实现资源管理和作业调度的、用于调度工作流作业的设备和方法。

背景技术

如公知的，在诸如超级计算机、高性能簇、网格系统、和网络服务的各种计算资源环境下，已利用了用于代替人处理大量数据的科学计算操作、工作流管理系统、资源管理系统、和工作调度器，由此一次全部（in a lump）运行在各阶段作业之间具有依赖性的复杂的作业。

工作流管理系统是这样的软件系统，其通过用户友好的界面（UI：用户界面）组成（compose）其中作业序列彼此具有关系的工作流，符合（in line with）包括高性能计算机、网络服务、和网格的各种计算资源来运行工作流，并报告运行结果。传统工作流管理系统包括Taverna、Galaxy和Kepler。

资源管理系统是用于簇或高性能计算机的、运行作业的批处理和计算资源的管理的软件系统。例如，资源管理系统包括具有OpenPBS、TORQEU和PBS pro的一系列便携批系统（PBS），并进一步包括SLURM和Oracle网格引擎（Oracle Grid Engine）。资源管理系统通常使用具有先来先服务（FCFS）方案的作业调度。

工作调度器通常被用来与资源管理系统相连。工作调度器是这样的软件系统，其在基于比较期望资源的数量、作业的优先级、是否存在可用资源、以及可用资源的类型的结果而动态改变运行顺序的同时，运行工作队列上的作业。传统工作调度器包括Maui、ALPS、LSF和Moab。

发明内容

如公知的，在包括基因组（genome）序列分析的大多数科学应用的情况下，通过对预先开发的应用程序进行汇编来获得期望结果。工作流或管线是基于基于时间的顺序的依赖性和数据依赖性、而进行具有所述依赖性的应用程序（作业）的顺序或流。该工作流可包括各种尺寸，诸如包括一个或两个应用的简单类型、以及包括几十或几百应用的类型。

为了通过将工作流映射到正确计算资源来有效获得结果，需要关于构成工作流的作业所必需的计算资源的精确信息。然而，除了应用的开发者之外的其他人难以知道关于实际运行作业的应用程序对资源的使用的信息。资源的使用信息包括应用程序必需的CPU的数目、存储容量、盘容量、和网络带宽。用于从源代码获得资源使用配置文件的分析工具的开发也稍微（rather）下降（depress）。

在现有技术中，引入了用于运行具有样本文件的测试作业并然后分析该作业、或者存储运行先前作业的结果作为作业配置文件并然后当调度下一作业时利用存储的结果的方法。另外，还引入了CPU资源和存储器资源的隔离功能，使得对于需要大量计算的作业或使用很多存储器的作业，使用隔离功能来分配需要数目的CPU内核和存储器，以运行该作业。结果，因为隔离了资源使用，所以每一作业不影响另一作业。

然而，不对于输入和输出提供资源隔离。例如，不向全局文件系统（GFS）和用作高性能计算网络的无穷大频带（infiniband）提供用于输入/输出（I/O）带宽的隔离功能。所以，如果具有不同特性的多个应用同时运行并共享输入/输出（I/O）资源，则不可能实现具有期望级别的CPU使用效率。特别是，在其中同时运行许多输入和输出的I/O密集应用的情况下，等待输入/输出的时间变得非常长，并由此CPU使用效率可在CPU密集作业中严重恶化。

为了解决可在运行包括I/O密集作业的工作流时发生的资源使用的问题，本发明提供了以下方法，用于在调度中反映个别应用的实时工作负荷信息和资源使用信息两者，以便防止I/O密集作业使得高性能计算系统的操作效率恶化。