[发明专利]作业的输入/输出信息的获取方法和装置

说明书

本申请实施例提供一种作业的输入/输出信息的获取方法和装置，该方法应用于第一节点，第一节点运行有分布式文件系统监控进程和任务管理进程，该方法包括：调用分布式文件系统监控进程获取各进程的输入/输出I/O信息、根据各进程的I/O信息获取各所述进程对应的至少一个作业的I/O信息以及将至少一个作业的I/O信息存储至少一个存储文件中；调用至少一个任务管理进程从至少一个存储文件中读取所述至少一个作业的I/O信息，以及向第二节点发送至少一个作业的I/O信息，至少一个任务管理进程与至少一个作业一一对应。本申请实施例可以准确的获取作业的I/O信息。

技术领域

本申请涉及计算机技术领域，由于涉及一种作业的输入/输出信息的获取方法和装置。

背景技术

高性能计算(High Performance Computing，简称HPC)服务的主要目的是提高运算速度及能力，以达到每秒万亿次级的计算速度。其可以解决大规模科学问题的计算和海量数据的处理，如气象预报、汽车模拟仿真、军事研究、生物制药、基因测序、核爆炸模拟等等。可以提供高性能计算服务的计算机可称之为“高性能计算机”或“HPC计算机”。

目前若HPC计算机执行有占用了存储系统大量的输入/输出(Input/Output，简称I/O)资源的作业，则可能会导致该HPC计算机其它的作业不能获得足够的I/O资源而无法被执行或者执行被严重延后。因此，HPC计算机需要获取正在执行的作业的I/O信息，以发现占用了存储系统大量的I/O资源的作业，并控制该作业对存储系统的访问，防止存储系统过载。但是目前HPC计算机获取的正在执行的作业的I/O信息不够准确。

发明内容

本申请提供一种作业的输入/输出信息的获取方法和装置，可以准确的获取作业的I/O信息。

第一方面，本申请实施例提供一种作业的输入/输出信息的获取方法，所述方法应用于第一节点，所述第一节点运行有分布式文件系统监控进程和任务管理进程，所述方法包括：调用分布式文件系统监控进程获取各进程的输入/输出I/O信息、根据各所述进程的I/O信息获取各所述进程对应的至少一个作业的I/O信息以及将所述至少一个作业的I/O信息存储至少一个存储文件中；调用至少一个任务管理进程从所述至少一个存储文件中读取所述至少一个作业的I/O信息，以及向第二节点发送所述至少一个作业的I/O信息，所述至少一个任务管理进程与所述至少一个作业一一对应。

其中，I/O信息可包括如下中的至少一项：累加读字节、累加写字节、读带宽、写带宽、读延迟、写延迟。

本方案中第一节点调用分布式文件系统监控进程聚合属于同一个作业的各进程的I/O信息，得到作业的I/O信息，无需调用其它进程根据属于同一个作业的各进程的I/O信息，得到作业的I/O信息，由于分布式文件系统监控进程聚合属于同一个作业的各进程的I/O信息的准确度比其它进程聚合属于同一个作业的各进程的I/O信息的准确度要高，因此，本方案可以提高获取到的作业的I/O信息的准确度。

在一种可能的实施方式中，所述进程与预设环境变量信息相关联，所述预设环境变量信息包括该进程对应的作业的标识。其中，在属于不同簇的作业的标识相同，所述预设环境变量信息还可包括该进程对应的作业所属簇的标识。

本方案中被计算节点调用分布式文件系统监控进程获取I/O信息的进程是与预设环境变量信息相关联的进程时，一是可以使得分布式文件系统监控进程仅收集关联有预设环境变量信息的进程的I/O信息，避免分布式文件系统监控进程收集到冗余信息，节省了第一节点的资源；二是可以使得分布式文件系统监控进程无需获知作业与进程之间的对应关系，根据关联相同预设环境变量信息的进程即可确定对应同一个作业进程，以实现分布式文件系统监控进程根据各进程的I/O信息获取各进程对应的至少一个作业的I/O信息，提高了至少一个作业的I/O信息获取的效率。