[发明专利]一种基于消除OpenCL运行时开销提高GPU程序性能的方法

说明书

本申请提供一种基于消除OpenCL运行时开销提高GPU程序性能的方法，所述方法包括：步骤1：构建OpenCL Kerne l编译后代码的高效缓存机制，所述高效缓存机制包括缓存方式和缓存数据结构。步骤2：根据所述高效缓存机制，确定快速查找策略、更新策略及新节点插入方法。步骤3：根据所述快速查找策略、更新策略及新节点插入方法，确定启发式搜索队列的定义、启发式搜索队列的创建及启发式搜索队列的使用。步骤4：根据所述启发式搜索队列，确定运行时对缓存的使用策略，包含查找启发式搜索队列和查找缓存队列，自动判断待调用的OpenCL Kerne l是否需要编译，如果不需要，则返回已经编译好的OpenCL Kerne l；否则调用OpenCL Kerne l编译接口，对该OpenCL Kerne l进行编译，最终实现有效消除OpenCL运行时开销。

技术领域

本发明涉及异构计算技术领域，具体涉及一种基于消除OpenCL运行时开销提高GPU程序性能的方法。

背景技术

OpenCL(Open Computing Language，开放运算语言)程序采用运行时编译方法，也就是说只有在程序执行过程中，才对OpenCL kernel进行编译。OpenCL采用运行时编译的优势是可在不用重新编译OpenCL程序的情况下，能够充分利用新编译器的新特性。然而，运行时编译也存在一个重要的劣势：程序的整体执行时间包含了OpenCL Kernel的编译时间，OpenCL Kernel的运行时编译时间根据实现的不同，在0.5～2ms之间。虽然这么短的时间对于很多程序的执行来说，可以忽略不计。然而，存在两种情况，OpenCL Kernel的运行时编译时间会成为应用OpenCL程序性能的重要因素：

1、OpenCL Kernel本身的执行时间非常短；

2、应用程序会反复多次调用OpenCL kernel。

因此，如何消除或者减小OpenCL Kernel的运行时编译开销，对于OpenCL程序效率的提升具有非常重要的意义。

发明内容

本发明的发明目的采用以下技术方案实现：

一种基于消除OpenCL运行时开销提高GPU程序性能的方法，所述方法包括：

步骤1：构建OpenCL Kernel编译后代码的高效缓存机制，所述高效缓存机制包括缓存方式和缓存数据结构。

步骤2：根据所述高效缓存机制，确定快速查找策略、更新策略及新节点插入方法。

步骤3：根据所述快速查找策略、更新策略及新节点插入方法，确定启发式搜索队列的定义、启发式搜索队列的创建及启发式搜索队列的使用。

步骤4：根据所述启发式搜索队列，确定运行时对缓存的使用策略，包含查找启发式搜索队列和查找缓存队列，自动判断待调用的OpenCL Kernel是否需要编译，如果不需要，则返回已经编译好的OpenCL Kernel；否则调用OpenCL Kernel编译接口，对该OpenCLKernel进行编译，最终实现有效消除OpenCL运行时开销。

可选的，所述确定缓存方式包括：

OpenCL Kernel采用key-value的方式进行缓存，其中，key为kernel name+编译参数，作为OpenCL Kernel的唯一确认符；value为编译好的OpenCL Kernel。

可选的，所述确定缓存数据结构包括：

采用链表队列作为存储OpenCL Kernel的高速缓存方式。

可选的，所述快速查找策略包括：

直接通过Key值进行比较，如果比对成功，直接返回编译好的OpenCL Kernel，同时根据预先定义的更新策略更新整个队列；如果比对不成功，则返回NULL。