[发明专利]异构调度方法

说明书

本发明涉及异构计算领域，具体涉及一种并行异构计算调度技术。在本发明实施例中，通过以工作组work‑group为划分粒度，将同一任务的N维索引空间NDRange中的任务数据分配到不同的异构计算设备中进行计算。由此，可以使得同一任务的计算数据在多个异构计算设备中并行运行，提高任务执行效率。

技术领域

本发明涉及异构计算领域，具体的，涉及一种异构计算中的调度技术。

背景技术

异构计算(Heterogeneous computing)，主要是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式。如图1，在一个异构计算系统中，常见的异构计算设备(也称为异构设备)类别包括CPU、GPU、DSP等，当前典型的异构系统如集成了中央处理器(Central Processing Unit，CPU)和图形处理器(Graphics Processing Unit，GPU)的通用计算机，或集成CPU、GPU和数字信号处理器(Digital Signal Processor，DSP)芯片的手机系统级芯片(System on Chip，SoC)。由于异构计算设备通常都有独自的指令集及编程模型，在进行异构计算时，必须提供面向异构设备的编程语言和编程框架，用以把计算任务表达成设备程序，并提供面向异构设备的资源调度技术，用以配置、调度这些异构资源。

现有的异构计算框架，例如开放计算语言(Open Computing Language，OpenCL)、统一计算设备架构(Compute Unified Device Architecture，CUDA)、C++加速大规模并行(C++ Accelerated Massive Parallelism,C++AMP)等，均为单程序多数据并行编程模型(Single Program Multiple Data,SPMD)。SPMD包括了一个称之为N维范围(NDRange)的N维索引空间用以组织数据。如图2，NDRange通常包括六个维度，包括最多3维的工作组(work-group)，每个work-group又包括最多3维的工作节点(work-item)。每一个work-group中的work-item处于一个共享域，可以共享或者交换数据，各work-group之间完全独立运行，不存在相互间数据依赖关系。在执行任务时，为该任务创建一个内核(Kernel)程序，内核程序指定一个NDRange，将NDRange的work-group依次发送给一个异构计算设备的指令执行单元，work-group中的每一个work-item都会被分配到指令执行单元中的一个单独的指令执行通道处理，指令执行单元依次从Kernel程序中顺序获取指令流，从而完成单程序多数据的执行模型，完成并行处理数据的目的。

然而，对于同一个计算任务而言，由于Kernel程序仅执行在一个异构计算设备上，且同一个Kernel程序不能同时跨设备运行。因此，虽然多个任务之间能够并行执行，但是对于单个计算任务而言，不能实现异构并行运行，计算资源的有效利用率不高。

发明内容

本文描述了一种异构计算设备的调度方法,装置及系统,以实现异构设备在单个任务中的并行数据计算,提高计算资源的利用率。

一方面，本申请实施例提供了一种异构调度方法，方法包括指示异构设备分别创建命令队列，所述命令队列包含所述命令队列对应的异构设备要处理的任务数据的数据索引。将同一N维索引空间NDRange中的不同工作组work-group分配到异构设备中不同设备中的命令队列中。由此，将同一任务的NDRange数据以工作组为粒度，并行的分配给不同的异构计算设备进行数据计算，从而实现了任务的并行计算。