[发明专利]面向众核多层次存储系统的数据高效传输支持方法

说明书

本发明公开了一种面向众核多层次存储系统的数据高效传输支持方法，包括典型访存通信模式性能库和运行时最优模式选择模块，所述典型访存通信模式性能库是通过以下步骤构建形成的，总结科学计算程序中的典型通信访存模式；对每种典型通信访存模式，用多种通信访存方案具体实现；对每种实现通信访存方案，测试在不同数据规模下的性能以及需要的缓冲空间的大小，构建典型访存通信模式性库；所述运行时最优模式选择模块则根据用户程序的访存通信模式、访存数据量、可用缓冲空间大小信息，搜索典型访存通信模式性库，选择最优实现方案。本发明减轻编程人员负担的同时，提供高效的实现方案，对于不了解存储系统细节的编程人员，也能很好的利用系统特性。

技术领域

本发明属于并行语言及编译领域，尤其涉及一种面向众核多层次存储系统的数据高效传输支持方法。

背景技术

不同于处理器的速度按照摩尔定律快速发展，存储器访问速度的发展远远滞后于处理器，存储系统的性能是影响计算机系统整体性能的决定性因素之一。考虑到当前技术条件、实现成本等因素的限制，目前普遍使用多层次存储系统来缓解存储系统性能的不足。在众核处理器上，计算核心的数目更多，存储系统的层次设计更加复杂。多层次存储系统普遍采用内存共享、缓存私有的方式，为提升缓存的使用效率，私有缓存间又可以使用RMA通信机制交换数据。这样的多层次设计能够最大程度的提升存储系统的性能，但是也编程带来的很大的难度。

发明内容

本发明目的在于提供一种面向众核多层次存储系统的数据高效传输支持方法，以解决多层次存储系统设计给编程人员带来的很大的难度。

为达到上述目的，本发明采用的技术方案是：一种面向众核多层次存储系统的数据高效传输支持方法，基于典型访存通信模式性能库和运行时最优模式选择模块；

所述典型访存通信模式性能库是通过对科学计算程序中的典型访存通信模式进行分析总结，并对每种典型访存通信模式的多种实现方案进行实际测试得到；

所述运行时最优模式选择模块用于判断用户程序的访存通信模式，根据访存数据量、可用缓冲空间大小信息，搜索典型访存通信模式性能库，选择可用的数据传输时间最短的实现方案，实现数据的高效传输；

所述典型访存通信模式性能库的构建包括以下步骤：

S1、总结科学计算程序中的典型访存通信模式，典型访存通信模式包括全阵列交换数据、阵列行/列上交换数据、阵列遍历主存数据；

S2、对每种典型访存通信模式，用不同的通信访存方案具体实现，并理论计算缓冲空间大小，具体通信访存方案如下：

S21、当典型访存通信模式为全阵列交换数据时，一种通信访存方案是核组轮转，其缓冲空间大小为2倍缓冲；另一种通信访存方案是核组内依次广播，其缓冲空间大小为2倍缓冲；

S22、当典型访存通信模式为阵列行/列上交换数据时，一种通信访存方案是行/列上轮转，其缓冲空间大小为2倍缓冲，即为通信的数据量的2倍；另一种通信访存方案是行/列上依次广播，其缓冲空间大小为2倍缓冲；

S23、当典型访存通信模式为阵列遍历主存数据时，第一种通信访存方案是单个核心分块DMA，其缓冲空间大小为2倍缓冲；第二种通信访存方案是单核心分块DMA和轮转RMA，其缓冲空间大小为2倍缓冲；第三种通信访存方案是单从核分块DMA和依次RMA广播，其缓冲空间大小为2倍缓冲；第四种通信访存方案是分块DMA列广播和行上轮转RMA，其缓冲空间大小为sqrt(n)倍缓冲空间；第五种通信访存方案是分块DMA列广播和行上依次RMA广播，其缓冲空间大小为sqrt（n）倍缓冲空间；

S3、对每种通信访存方案，在众核处理器上测试在不同数据规模下的运行时间性能，构建典型访存通信模式性能库；

所述运行时最优模式选择模块的构建包括以下步骤：