[发明专利]一种对并行程序的性能进行监测分析的方法及装置

说明书

技术领域

本发明涉及高性能程序监测技术领域，特别是涉及一种对并行程 序的性能进行监测分析的方法及装置。

背景技术

并行程序优化是当今分布式并行计算领域的一个重要问题。从编 译角度对并行程序进行优化是一个重要的方法，但是编译时无法对程 序的执行流程有一个准确的预知，例如程序的分支，以及接收用户输 入的参数等。所以，程序运行时的反馈信息对并行程序优化有着关键 的意义。在并行程序的监测方面已经有大量的研究成果和成熟的工具， 通过插桩和库包装的方法，采集并行程序的各维度信息。

而高性能应用往往具有计算周期长、计算量大的特点。对于一个 每秒百万亿次计算能力的高性能机群系统来说，一个并行任务的性能 踪迹数据非常巨大。而对于这些庞大的性能数据，并不是单台物理机 的存储系统能够胜任的，而且采集时性能数据本身是分布在各节点之 上的，数据在汇聚时会进行大量的通信，占用网络带宽。在中小规模 机群系统中可以采用1对n的通信模型，当计算规模在几十个节点以 下的时候尚可以获得较好的性能，而当计算规模扩展到几百甚至几千、 上万时，这样的通信模式将无法满足数据通信、数据存储、数据分析 的要求。

发明内容

本发明的目的是提供一种对并行程序的性能进行监测分析的方 法及装置，目的在于解决现有程序性能监测分析过程中网络通信以及 分析效率较差的问题。

为解决上述技术问题，本发明提供一种对并行程序的性能进行监 测分析的方法，包括：

对分布式并行程序的运行过程进行监测，采集所述并行程序的性 能数据；

将采集到的所述性能数据进行分布式存储；

对所述性能数据进行分布式并行处理，得到反映所述并行程序的 性能的分析结果信息。

可选地，所述采集所述并行程序的性能数据包括：

采集所述并行程序的各维度信息作为所述性能参数，所述维度信 息包括：函数的执行时间、程序的硬件技术接口以及系统的程序信息。

可选地，所述将采集到的所述性能数据进行分布式存储包括：

每个计算节点分别将采集到的所述性能数据异步存储至HDFS分 布式文件系统中。

可选地，所述对所述性能数据进行分布式并行处理包括：

计算节点利用MapReduce模型对所述性能数据进行分布式并行 处理。

可选地，还包括：

对所述分析结果信息进行可视化显示。

本发明还提供了一种对并行程序的性能进行监测分析的装置，包 括：

采集模块，用于对分布式并行程序的运行过程进行监测，采集所 述并行程序的性能数据；

存储模块，用于将采集到的所述性能数据进行分布式存储；

处理模块，用于对所述性能数据进行分布式并行处理，得到反映 所述并行程序的性能的分析结果信息。

可选地，所述采集模块具体用于：

采集所述并行程序的各维度信息作为所述性能参数，所述维度信 息包括：函数的执行时间、程序的硬件技术接口以及系统的程序信息。

可选地，所述存储模块具体用于：

每个计算节点分别将采集到的所述性能数据异步存储至HDFS分 布式文件系统中。

可选地，所述处理模块具体用于：

计算节点利用MapReduce模型对所述性能数据进行分布式并行 处理。

可选地，还包括：

显示模块，用于对所述分析结果信息进行可视化显示。

本发明所提供的对并行程序的性能进行监测分析的方法及装置， 通过对分布式并行程序的运行过程进行监测，采集并行程序的性能数 据；将采集到的性能数据进行分布式存储；对性能数据进行分布式并 行处理，得到反映并行程序的性能的分析结果信息。本发明所提供的 对并行程序的性能进行监测分析的方法及装置，通过分布式存储、分 布式处理的方式，避免了程序性能原始数据的汇聚对单节点机的存储 系统造成的巨大压力，改善了以往对单个单文件的处理分析方法，大 大减少了网络通信量，提高了处理效率。

附图说明