[发明专利]一种多核环境并行程序Cache性能在线获取系统及方法

说明书

技术领域

本发明涉及计算机程序性能设计与分析中的多核情况下并行程序的高速缓存性能的在线处理方法。

背景技术

高速缓冲存储器（Cache）简称高速缓存，是存在于中央处理器与内存之间的存储器，由静态存储芯片(SRAM)组成，容量比较小但速度比内存高得多，接近于中央处理器的速度。

随着处理器的结构向着多核甚至众核发展，多核处理器的性能越来越成为未来计算机系统的决定性因素。运行在多核处理器上的程序以并行程序为主，并行程序能否有效的利用多核处理器上丰富的硬件资源成为影响程序性能的关键，这就对并行程序的设计提出了更高的要求。然而，由于并行程序本身的特点，其执行过程的复杂性以及不可预测性，使得并行程序不一定能够达到预期的加速要求。并且，随着处理器的核数越来越多，并行程序的线程也越来越多，不同线程之间会产生交互作用，这种交互作用可以是线程间对资源的竞争或共享，一般发生在共享资源上，对程序的性能产生重要的影响。而Cache正是处理器上一种最重要的共享资源。

现有的Cache性能分析更多的关注程序局部性，统计的是Cache缺失率和命中率，这是远远不够的。获取更详尽的Cache性能数据十分困难，利用性能计数器等方法所提供的Cache性能事件局限于缺失率以及一些指令信息，不能够发现到底是什么原因引起的缺失率。另外，多核处理器上存在一些特殊的Cache行为，针对单核处理器的Cache性能分析不能很好的移植到多核架构上。因此，我们希望能够通过采用一种新的方法对并行程序Cache性能进行深入的分析来确定影响程序访存性能的原因，从而指导程序设计者优化程序。

并行程序性能分析工具在帮助程序设计者迅速确定性能瓶颈上发挥了重要的作用。国内外已有一些对程序Cache性能进行分析的工具，也有一些研究关注于程序的Cache行为以及其对程序性能的影响。

论文[Intel Corp.VTune(TM)Performance Analyzer for Linux[R].USA:Intel Corp,2008]和[Performance Analysis Tools:A Look at VTune]提出了一种Cache不命中方程。主要分析程序的源代码，并结合存储层次结构的模型参数，得到一组方程，解这组方程就能够得到循环等代码的Cache缺失次数等指标。这种方法可以在循环替换，循环分块等优化方法中被用于选择参数等。CME的优点是分析速度快，但是，这种方法分析的精确性同模型的建立相关，不能保证，而且这种方法仅仅是对缺失情况作了建模，不能够得到更多的Cache性能信息。

论文[J.Tuck et.al.Scalable Cache Miss Handling for High Memory-Level Parallelism.In MICRO39,pages409–422,Washington,DC,USA,2006.IEEE Computer Society.]提出了一款在线动态程序性能分析工具Vtune，它利用取样的方式获取程序的性能信息，取样是指周期性的中断处理器的执行并获取程序执行的上下文。原理是在一定数量的事件发生后中断处理器，同时将运行信息存储到一个缓冲区中去。当缓冲区满了之后，将信息复制到文件中。保存好后，再继续执行。取样的开销较小，时间开销不到5%，而且对程序的指令没有特殊的要求。在分析程序的Cache性能方面，Vtune提供了许多性能参考指标。如各级Cache缺失数，各级Cache访问数等。利用Vtune分析Cache行为的优点是，提供良好的可视化界面，能够从多种视图查看程序的执行情况，例如以函数划分，以线程划分等等，方便程序设计者定位瓶颈。但Vtune的运行本身影响了源程序的行为，另外Vtune没有给出程序缺失率高的原因，对程序在Cache上的交互作用也没有进行分析。