[发明专利]一种基于GPU的卷积运算内存访问优化方法

说明书

一种基于GPU的卷积运算内存访问优化方法，涉及卷积运算访存优化技术。本发明能够解决现有技术的卷积运算访存开销较大的缺陷。技术要点：将卷积核数据加载至共享内存中；将卷积输出以32列为单位分割成子块，得到若干个包含32列数据的子块以及1个少于32列数据的子块；每个线程计算该线程所需要的第一个数据的索引；每个线程通过列重用算法从所述第一个数据的索引中获取剩余所需的输入数据，并将获取的输入数据传递给行重用算法；经过行重用算法计算输出结果并存储在寄存器数据sum中；并将sum写入全局内存；计算卷积输出中其余待计算的数据。本发明用于对图像处理、视频处理和机器学习领域中的卷积运算进行访存优化。

技术领域

本发明涉及卷积运算访存优化技术，具体涉及一种基于GPU的卷积运算内存访问优化方法。

背景技术

在图像处理，视频处理和机器学习领域，卷积运算已经成为了核心计算模式。2D卷积广泛的应用于图像滤波和帧差值，depth-wise卷积常用于移动神经网络中，多通道2D卷积是神经网络中的核心运算。然而，卷积运算需要消耗大量的计算资源和内存资源，在图像处理和机器学习中卷积运算占用了90％的执行时间。很多卷积运算的优化方法已经被提出来了，其中以基于GEMM(矩阵相乘)，FFT和Winograd的方法应用最为广泛。但是这些方法需要将输入和输出数据转化成指定类型的矩阵，然后才能进行运算，这无疑增加了访存的开销。因此需要一种减少内存访问的优化技术，来解决现有技术的缺陷。

发明内容

本发明要解决的技术问题是：

本发明的目的是为了解决现有技术的卷积运算访存开销较大、卷积的访存的次数多降低卷积运算的性能的问题。

本发明为解决上述技术问题所采用的技术方案为：

本发明提供一种基于GPU的卷积运算内存访问优化方法，包括：将卷积核数据加载至共享内存中；将卷积输出以32列为单位分割成子块，得到若干个包含32列数据的子块以及1个少于32列数据的子块；设用于处理子块的线程有N个；每个线程计算该线程所需要的第一个数据的索引；每个线程通过列重用算法从所述第一个数据的索引中获取剩余所需的输入数据，并将获取的输入数据传递给行重用算法；经过行重用算法计算输出结果并存储在寄存器数据sum中；并将sum写入全局内存；计算卷积输出中其余待计算的数据。

优选地，卷积核为任意大小。

优选地，所述卷积运算为2D卷积，depth-wise卷积或多通道2D卷积。

优选地，列重用算法的过程为：每个线程从全局内存中加载该线程所需要的第一个数据和最后一个数据；每个线程从间隔为2的线程处获取所需的第三个数据；每个线程从间隔为1的线程处获取所需的第二个和第四个数据。

优选地，本发明的方法还包括：每个线程加载完需的第一个数据和最后一个数据后，将所述第一个数据和最后一个数据合并成64位数据，存入第一变量数组中；其中所需的最后一个数据存入高32位，所需的第一个数据存入低32位；将所有线程中需要向其他线程提供高32位数据的线程对应的变量值右移32位，其余线程右移0位，将得到的64位变量数组进行拆分，其中高32位作为所述第四个数据，低32位作为所述第二个数据。

优选地，行重用算法的过程为：每当加载完一行输入后，用该行输入计算所有能够通过该行计算出的输出。

优选地，每个线程通过CUDA shuffle指令从间隔为1或2的线程处获取所需的数据。

优选地，所述所有能够通过该行计算出的输出通过卷积算法的计算公式确定。优选地，所述卷积核大小为3或5。

优选地，所述剩余数据包括边缘数据以及未被处理的内部数据。