[发明专利]一种基于GPU的卷积运算内存访问优化方法

权利要求书

1.一种基于GPU的卷积运算内存访问优化方法，其特征在于，包括：

将卷积核数据加载至共享内存中；

将卷积输出以32列为单位分割成子块，得到若干个包含32列数据的子块以及1个少于32列数据的子块；

设用于处理子块的线程有N个；每个线程计算该线程所需要的第一个数据的索引；

每个线程通过列重用算法从所述第一个数据的索引中获取剩余所需的输入数据，并将获取的输入数据传递给行重用算法；

经过行重用算法计算输出结果并存储在寄存器数据sum中；并将sum写入全局内存；

计算卷积输出中其余待计算的数据；

列重用算法的过程为：

每个线程从全局内存中加载该线程所需要的第一个数据和最后一个数据；

每个线程从间隔为2的线程处获取所需的第三个数据；

每个线程从间隔为1的线程处获取所需的第二个和第四个数据；

行重用算法的过程为：

每当加载完一行输入后，用该行输入计算所有能够通过该行计算出的输出。

2.根据权利要求1所述的基于GPU的卷积运算内存访问优化方法，其特征在于，列重用算法可用于任意大小的卷积核。

3.根据权利要求1或2所述的基于GPU的卷积运算内存访问优化方法，其特征在于，所述卷积运算为2D卷积，depth-wise卷积和多通道2D卷积。

4.根据权利要求1所述的基于GPU的卷积运算内存访问优化方法，其特征在于，还包括：

每个线程加载完所需的第一个数据和最后一个数据后，将所述第一个数据和最后一个数据合并成64位数据，存入第一变量数组中；其中所需的最后一个数据存入高32位，所需的第一个数据存入低32位；

将所有线程中需要向其他线程提供高32位数据的线程对应的变量值右移32位，其余线程右移0位，将得到的64位变量数组进行拆分，其中高32位作为所述第四个数据，低32位作为所述第二个数据。

5.根据权利要求1所述的基于GPU的卷积运算内存访问优化方法，其特征在于，每个线程通过CUDA shuffle指令从间隔为1或2的线程处获取所需的数据。

6.根据权利要求1所述的基于GPU的卷积运算内存访问优化方法，其特征在于，所述所有能够通过该行计算出的输出通过卷积算法的计算公式确定。

7.根据权利要求1所述的基于GPU的卷积运算内存访问优化方法，其特征在于，列重用算法可用于大小为3或5的卷积核。

8.根据权利要求1所述的基于GPU的卷积运算内存访问优化方法，其特征在于，所述其余待计算的数据包括边缘数据以及未被处理的内部数据。