[发明专利]一种CUDA线程放置优化方法

权利要求书

1.一种CUDA线程放置优化方法，其特征在于，所述方法的实现过程为：

程序信息采集：包括两个部分：

第一部分使用CUDA的性能分析工具nvprof获得程序运行时信息、程序执行时间信息集；

程序运行时信息采集的内容为：通过阅读nvprof官方文档，总结出nvprof收集的metric信息分为指令操作信息、存储操作信息、线程信息三类；第二部分，首先使用LLVM内的工具clang把CUDA源程序转换成中间表示形式，再使用分析pass采集CUDA程序核函数的静态信息；

所述CUDA程序核函数的静态信息包括指令信息和存储空间信息；

用部分静态信息建立与运行时信息的等价关系，具体为：

(1)浮点计算单元利用率

可以用静态信息N_instrfloat计算得到浮点计算单元利用率，对应nvprof工具获取的信息flop_dp_efficiency、flop_sp_efficiency；设核函数的执行时间为T_kernel，GPU浮点计算理论峰值为P_max，则GPU浮点计算单元利用率U_floatstatic可以表示为：

(2)存储器吞吐量统计

我们用指令数量替代存储器吞吐量统计信息：N_instrstore替代gst_throughput，N_instrload替代gld_throughput，S_sharedmem替代shared_load_throughput、shared_store_throughput；

(3)线程分歧率

在CUDA程序的指令集中，影响线程分歧率的指令包括分支指令、同步指令，因此我们用N_branch、N_sync、N_isntr、N_loop等替代nvprof工具的信息branch_efficiency，计算公式为：

与原计划提取的运行时信息相比，经过替换后，由原来的提取15条变为8条；

其中，N_loop是总循环次数，N_branch是分支指令次数，N_isntr是总体指令数量，N_instrfloat是浮点型指令数量，N_instrstore是内存写入指令数量，N_instrload是内存加载指令数量，N_sync是CUDA线程间同步指令数量，S_sharedmem是线程共享内存大小；fIop_dp_efficiency、flop_sp_efficiency是浮点计算单元利用率，gld_throughput是全局内存加载吞吐量，gst_throughput是全局内存存储吞吐量，shared_load_throughput是共享内存加载吞吐量，shared_store_throughput是共享内存存储吞吐量，branch_efficiency是分支指令占全部指令比率；

程序信息处理：对静态信息和程序运行时信息进行信息汇总、数值化处理、归一化处理得到训练集程序特征，并利用程序执行时间信息集设置标签从而完成标签数据的生成；

机器学习模型训练：将训练集程序特征和标签数据作为输入，利用支持向量机算法进行性能建模，得到程序性能预测模型；

在线程优化放置应用时，首先需调用程序信息采集模块，采集待优化程序的程序信息，然后输入已训练好的程序性能预测模型，即可获得合适的线程块设置方案。