[发明专利]面向高性能计算应用的通信特征分析方法及系统

说明书

本发明公开了一种面向高性能计算应用的通信特征模型方法，包括以下步骤：步骤一、提取应用通信特征；步骤二、分析通信特征；步骤三、建立通信特征模型；步骤四、扩展分析。本发明还提供了一种面向高性能计算应用的通信特征模型系统。本发明的有益效果如下：基于HPC综合应用环境的多层次、多手段数据采集方法对应用通信特征提取，利用多元线性回归模型，建立应用通信特征模型，精确预测典型高性能应用在E级计算下的通信行为特征；对高性能计算的应用做通信特征模型的建立，能够更快的找出程序的性能瓶颈，高效优化程序，提升了计算效率，更能合理的使用资源。

技术领域

本发明涉及计算机通信技术领域，尤其涉及一种面向高性能计算应用的通信特征分析方法及系统。

背景技术

高性能计算系统利用大量处理单元的聚合计算能力来满足应用巨大的计算需求，其关键问题是实现众多计算节点的大规模集成和高效协同计算，核心技术涉及高性能计算机和大规模并行应用程序。 随着高性能计算的广泛应用，越来越多的用户使用并行方式执行程序用以提高大规模程序的执行速度、提升整体执行性能；这也伴随着具有良好移植性的消息传递接口(Message Passing Interface, MPI)的广泛使用，性能分析工具mpiP基于MPI对程序进行性能分析，通过mpiP报告让用户能够更轻易的对程序进行全局性能分析，这样不仅提升了整体性能分析效率，也能更为便捷的获取整个程序执行过程中每个进程的执行状态。

mpiP是一个基于mpi并行程序的轻量级性能分析库，其通过mpi的分析机制来收集mpi信息，因为只通过对目标代码进行捕获当前状态来进行信息统计，所以产生的开销很小。同时其独特的捕获状态的方式不受编程语言的束缚，但对目标代码的语法要求很高，不然易造成捕获错误的现象。

在相关技术中，以基于MPI和OpenMP两大主流编程模型来实现的并行程序来说，其性能分析能够更快的找出程序的性能瓶颈，高效优化程序，以至于在接下来即将到来的E级计算时代，性能分析能较为轻易地收集并行信息，数据分配信息，通信信息，让我们据此更为合理地分配负载给处理器，以达到大规模计算下的负载平衡，不仅提升了计算效率，更能合理的使用资源。而这也对生成大规模处理器下的性能分析报告提出了新的挑战。如何整合报告里已有的数据信息，如何更直观的体现程序运行状态下的通信占比，如何对各个进程执行时间以及执行状态做可视化。因此，如何将并行程序执行状态下的数据快速生成可视化状态图已然成为研究重点。

现阶段有针对MPI开发的性能分析工具mpiP，调用运行后会产生一个分析报告，报告包括进程基本信息、时间信息以及内存信息等模块。mpiP的性能分析报告包括以下部分：

（1）标题信息提供有关您的性能实验的基本信息。

（2）MPI Time，这是在当前进程下计算的进程时间和所有mpi的调用时间，同时，该也包括mpi调用百分比。

（3）Callsites，该部分标识了mpi的所有调用站点。

（4）Aggregate Time，这部分为聚合时间部分，该部分用以标识程序运行中时间消耗最多的前20个mpi调用站点。

（5）Aggregate Sent Message Size,这部分为聚合数据部分，该部分用以标识程序运行中数据传输最多的前20个mpi调用站点。

（6）Callsite Time statistics，该模块对每个调用站点的时间进行相关统计并显示其大小。

（7）Callsite Messsage Sent statistics，该模块对每个调用站点传输的数据进行相关统计及并显示其大小。

所有由mpiP捕获的信息都是任务本地的，它仅在报告生成期间使用通信，通常在实验结束时将所有任务的结果合并到一个输出文件中。而这只是一个全局的总览，对较大开销和影响性能的部分数据不能更为直观的体现，同时，对复杂的含多模块函数的程序进行分析难度更大。