[发明专利]一种面向CPU/GPU异构集群的数据流编程方法和系统

说明书

本发明公开了一种面向CPU/GPU异构集群的数据流编程方法，其中方法的实现包括：利用数据流程序得到SDF图，对SDF图进行层次性二级任务划分与调度，对每个任务单元设置阶段号，得到任务单元的执行顺序；利用SDF图中任务单元到异构集群节点的CPU核或GPU的映射和异构集群多任务数据通信模型，得到任务单元之间的数据通信，根据任务单元的执行顺序和任务单元之间的数据通信得到数据流程序的目标代码。本发明对数据流程序并行化同时对数据通信进行了优化，提高了程序的整体执行性能。

技术领域

本发明属于计算机编译技术领域，更具体地，涉及一种面向CPU/GPU异构集群的数据流编程方法和系统。

背景技术

传统CPU多核处理器和CPU集群有时无法满足某些应用程序对大规模和超大规模计算的需求，图形处理器(Graphic Processing Unit，GPU)在诸如CPU/GPU异构架构服务器上的高性能浮点计算、并行计算等方面有巨大的优势，因此逐渐得到广泛应用。一种多CPU与多GPU相结合的异构计算机逐渐成为研究对象，在该架构下，传统核CPU与计算核GPU可以同时工作，任务以多粒度并行方式执行。因此，CPU/GPU异构集群系统成为了一个解决超大规模计算问题值得深入探索的高效编程平台。数据流编程语言(Data Flow ProgrammingLanguage，DFPL)以其能够面向领域编程(Domain Specific Programming)的特征近年来得到广泛应用，与该语言对应的数据流编程模型(Data Flow Stream Programming Model)因其具有将计算与通信分离的特性，被研究人员发现并提出。在当前需要高性能计算的大数据时代，传统并行计算模型已经不能满足大规模应用的性能需求。

在以高性能计算为核心的大数据时代，传统多核并行模型已经不能满足大规模计算的需求。传统多核集群平台下的任务划分与调度方法并不能在异构体系下简单复制，传统CPU集群平台下的大规模并行计算模型都会采用如Hadoop、Spark、Strom等分布式存储框架来提供服务器节点间的网络数据通信。现有的CPU与GPU同时工作存在无法合理分配目标体系结构下的硬件资源，没有充分挖掘数据流程序中存在的并行性，程序性能较低的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种面向CPU/GPU异构集群的数据流编程方法和系统，现有的CPU与GPU同时工作存在无法合理分配目标体系结构下的硬件资源，没有充分挖掘数据流程序中存在的并行性，程序性能较低的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种面向CPU/GPU异构集群的数据流编程方法，包括以下步骤：

(1)利用数据流程序得到SDF图，对SDF图进行层次性二级任务划分与调度，得到SDF图中任务单元到异构集群节点的CPU核或GPU的映射；

(2)根据SDF图中任务单元到异构集群节点的CPU核或GPU的映射，对每个任务单元设置阶段号，得到任务单元的执行顺序；

(3)将异构集群节点之间以生产者/消费者模式为基础，与MPI接口保持一致，将每个异构集群节点以分布式存储和共享存储相结合的方式，构造CPU和GPU共享存储空间，得到异构集群多任务数据通信模型；

(4)利用SDF图中任务单元到异构集群节点的CPU核或GPU的映射和异构集群多任务数据通信模型，得到任务单元之间的数据通信，根据任务单元的执行顺序和任务单元之间的数据通信得到数据流程序的目标代码。

进一步的，步骤(1)的具体实现方式：

对数据流程序进行词法分析和语法分析后得到的SDF图，对SDF图进行进程级任务划分，得到SDF子图，SDF子图反映SDF图中任务单元到异构集群节点的映射，对SDF子图进行线程级任务划分，得到SDF图中任务单元到异构集群节点的CPU核或GPU的映射。

进一步的，进程级任务划分的具体实现方式为：