[发明专利]并行模拟中支持踪迹文件并行输入输出的方法

说明书

技术领域

本发明涉及并行计算机系统模拟方法，特别是在具有分布式磁盘存储系统的并行宿主机上，对并行模拟过程中的Trace(踪迹)文件进行分布式并行输入输出(Input/Output，I/O)的方法。

背景技术

计算机体系结构模拟软件(简称模拟器)是一类对计算机系统行为进行模拟的软件。它们一般是可配置的，可以对目标计算机系统的体系结构参数或技术方案进行配置，在现有的计算机(称为宿主机)上模拟运行Benchmark程序(包括真实的基准测试程序或自动生成的工作负载)，获得目标系统在给定配置下的性能数据，为计算机系统的体系结构设计决策提供参考。此外，基于模拟器还可对新计算机系统上的算法及软件进行调试与评估。

模拟器模拟硬件的行为，其时间开销通常比在真实目标机上运行相同Benchmark程序的时间大几个数量级，并且内存开销也很大。对于大规模并行计算机系统的模拟来说，串行宿主机难以胜任，只有采用并行计算机系统作为宿主机，基于并行模拟器并利用并行机的计算与存储资源进行模拟，才能满足计算能力与存储容量的需求。目前已经出现了一些基于并行宿主机的并行模拟器原型系统，如WWT II(威斯康辛大学)、LAPSE(NASA)、MPI-SIM(加州大学洛杉矶分校)、BigSimulator(伊利诺伊大学香槟分校)、BGLsim(IBM公司与伊利诺伊大学香槟分校)、SILAS(德国尤利西超级计算中心)等。

很多并行模拟器(如SILAS和BigSimulator)采用了Trace驱动的方式。Trace是对Benchmark程序执行过程中发生的事件或操作的记录，其中可以包括程序执行的指令序列及指令地址、访存地址序列、通信事件发生的时刻与数量、通信的对象等信息，通常将其以Trace文件的方式存储在磁盘系统中，后续的性能分析或模拟软件以Trace文件为输入，进行进一步的性能评估。例如BigSimulator原型模拟器中的性能模拟预测分两个步骤，第一个步骤称为仿真(Emulation)，在其中进行初步模拟并生成Trace文件；第二个步骤称为模拟(Simulation)，它基于前一步骤的Trace文件进行更详细的性能模 拟预测。但是基于Trace的模拟带来了问题：

(1)Trace文件占据很大的存储空间，导致对Trace文件进行磁盘I/O的开销大。如文献(Gao Xiaofeng等，Path Grammar Guided Trace Compression and TraceApproximation，IEEE HPDC-15，2006)报道，NPB(NAS Parallel Benchmark)中BT程序采用Class A输入集时，只使用4个并行模拟进程，其有效地址的Trace文件大小就超过了260GB。由于需要在磁盘系统上存储和读取的Trace文件的容量巨大，模拟器的执行性能严重受限于Trace文件的磁盘I/O操作。

(2)模拟器进行Trace文件记录的过程对目标程序执行过程是一种干扰，可能影响模拟器的模拟精度。因为Trace驱动的性能模拟器往往基于计算时间、通信时间的综合来预测并行程序在目标并行机上的性能，计算时间根据宿主机上测得的Benchmark程序计算部分的时间来估计(Gengbin Zheng等，Simulation-based performance predictionfor large parallel machines，International Journal of Parallel Programming，2005)，而Trace文件I/O操作是对Benchmark程序执行过程的一种干扰，可能影响测得的计算时间，从而在最终的预测性能中引入误差。

由于上述原因，如何优化Trace文件的磁盘I/O操作以提高模拟器的性能，并降低Trace文件I/O操作对计算时间估计的影响，成为模拟器研究领域的一个重要问题。在并行模拟器中，这一问题更加重要，因为并行模拟中通常运行规模更大的并行Benchmark程序，产生的Trace文件容量更大；并且，由于并行编程模式传统上只由主进程进行I/O操作，并行模拟器中通常也只有一个主模拟进程进行Trace文件的I/O操作，由单个主进程支持多个模拟进程的Trace文件I/O操作，很可能造成性能瓶颈。