[发明专利]图形处理器及其加速方法

说明书

本发明提供一种图形处理器及其加速方法。该图形处理器包括一纹素单元、一执行单元。纹素单元包括一读取模块。执行单元包括一im2col模块，用以执行一im2col算法，依据一卷积核的大小，将一原始矩阵进行扩展，而得到一扩展矩阵。执行单元将扩展矩阵与卷积核相乘，而到一特征矩阵。读取模块依据扩展矩阵的坐标，计算出该特征矩阵的每一元素的一特征坐标，及依据特征坐标、卷积核、步伐值及填充值，得到原始矩阵的每一元素的一原始坐标。读取模块读取原始矩阵的每一元素的原始坐标所涵盖的至少一该等存储区块，并且将至少一该等存储区块中对应于原始坐标的数据传送给im2col模块。

技术领域

本发明涉及图形处理器，特别涉及改善im2col计算效率的图形处理器及其加速方法。

背景技术

随着人工智能的发展，用图形处理器(GPU)对神经网络进行加速成为一个重要方向。为了对神经网络算法进行硬件加速，各芯片厂不断地提升运算模块的性能、减少数据的内存访问，和设计优化算法，而使得神经网络推理性能愈来愈快。通用矩阵乘法(GEMM)是一个被广泛应用的卷积加速方法。在执行GEMM之前，需要准备输入数据，而准备输入数据的过程即称为图像块重排为矩阵列(im2col)。

传统的图形处理器执行GEMM过程中，首先须先从存储器中读取一矩阵，将对矩阵执行im2col操作，并且将im2col后的结果存入存储器中。接着，图形处理器以im2col后的结果作为GEMM的输入，用以执行矩阵相乘的操作。换句话说，传统的图形处理器在执行GEMM过程中，需要读取存储器(或内存)两次，增加了对带宽的需求。传统的图形处理器更需要执行两次的计算才可得到最终矩阵相乘结果，计算推理的时间变长。

发明内容

依据本发明实施例的图形处理器，用以加速一卷积运算，包括一纹素(texel)单元及一执行单元。纹素单元包括一读取模块，执行单元包括一图像块重排为矩阵列(im2col)模块。读取模块从一存储器中读取用于卷积运算的一原始矩阵。存储器包括彼此相邻且大小相同的多个存储区块，原始矩阵存储在至少一该等存储区块中。图像块重排为矩阵列(im2col)模块，用以执行一im2col算法，依据一卷积核(kernal)的大小，将原始矩阵进行扩展，而得到一扩展矩阵。执行单元将该扩展矩阵内的每一元素分别定义为一扩展坐标。执行单元将该扩展矩阵与卷积核相乘，而得到对应于原始矩阵的一特征(feature map)矩阵。读取模块接收来自执行单元的扩展坐标，并且依据扩展坐标，计算出特征矩阵的每一元素的一特征坐标。读取模块依据该特征坐标、该卷积核的大小、步伐值(stride)及填充值(padding)，得到原始矩阵的每一元素的一原始坐标。读取模块读取原始矩阵的每一元素的原始坐标所涵盖的至少一该等存储区块，并且将至少一该等存储区块中对应于该原始坐标的数据传送给im2col模块。

如上所述的图形处理器，其中，执行单元还包括一寄存器文件(register file)，用以在卷积运算中存储来自im2col模块的原始矩阵内的数据、扩展矩阵内的数据，及特征矩阵内的数据。

如上所述的图形处理器，其中，执行单元还包括一执行模块，用以依据寄存器文件中的原始矩阵内的数据、扩展矩阵内的数据，及特征矩阵内的数据，执行该卷积运算。

如上所述的图形处理器，其中，纹素单元还包括一L1快取(cache)；在该卷积运算中，L1快取从该存储器中读取并存储用于该卷积运算的原始矩阵，用以供读取模块的存取。

如上所述的图形处理器，其中，该图形处理器还包括一存储单元，用以将该执行单元所执行卷积运算的一结果存入该存储器中。

如上所述的图形处理器，其中，存储器所包括每一该等存储区块的大小为4*8的矩阵大小。