[发明专利]基于FPGA的时空图神经网络加速器结构

权利要求书

1.一种基于FPGA的时空图神经网络加速器结构，所述时空图神经网络每层输出的计算过程是多种网络结构的融合，其特征在于，所述加速器结构包括：

向量加速模块：内部保存有所述融合函数中的稀疏矩阵，用于执行稀疏矩阵相乘或者执行逐元素乘加运算；

张量加速模块：可与向量加速模块并行计算，内部保存有所述融合函数中的权重参数、偏置参数、激活函数，用于顺次执行稠密矩阵相乘、偏置项相加以及不同激活函数的运算；

数据流控制模块：包括存储所述张量加速模块和所述向量加速模块的输出数据的数据缓存，用于基于所述数据缓存实现所述张量加速模块和所述向量加速模块之间的数据流向以便循环完成计算；

系统控制模块：用于控制所述张量加速模块和向量加速模块按照设定的计算时序完成与所述计算时序对应的计算。

2.根据权利要求1所述的基于FPGA的时空图神经网络加速器结构，其特征在于，所述张量加速模块包括：

权重存储模块和偏置存储模块，用于分别保存所述融合函数中的权重参数、偏置参数；

由M行N列第一计算单元构成的二维脉动矩阵乘法运算模块，用于从所述权重存储模块中获取权重参数构成的稠密矩阵，以及从所数据流控制模块的数据缓存中获取稀疏矩阵相乘得到的稠密矩阵，执行稠密矩阵相乘运算；

偏置相加模块，与每一行最后一个所述计算单元相接，用于将稠密矩阵相乘运算的结果加上从所述偏置存储模块中获取的对应的偏置后输出；

激活函数模块，与偏置相加模块相接，用于输出与所述偏置相加模块输出的结果所对应的激活函数的计算结果至所述数据流控制模块的数据缓存中。

3.根据权利要求2所述的基于FPGA的时空图神经网络加速器结构，其特征在于，所述第一计算单元包括：

第一寄存器和第二寄存器，均是用于将输入的数据缓存一个时钟后输出，同一行所述第一计算单元的第一寄存器共享输入，所述第一寄存器的输入来自于所述向量加速模块之前输出到所数据流控制模块的数据缓存中的数据，同一列所述第一计算单元的第二寄存器共享输入，所述第二寄存器的输入来自于所述权重存储模块；

第一乘法器，其两个输入分别与所述第一寄存器和所述第二寄存器的输出连接，用于将输入的两个数据相乘后输出；

累加器，与所述第一乘法器的输出连接，用于将不同时钟输入的数据累加；

实现多路输入到单路输出的第一选通器，其第一路输入连接所述累加器的输出，每一行所述第一计算单元对应的一行第一选通器中：后一个第一选通器的第二路输入与前一个第一选通器的输出连接，第一个第一选通器的第二路输入为0，最后一个第一选通器的输出连接至所述偏置相加模块的输入。

4.根据权利要求3所述的基于FPGA的时空图神经网络加速器结构，其特征在于，在所述张量加速模块完成与所述计算时序对应的计算的过程中：第一选通器交替工作于计算阶段和输出阶段：在计算阶段，第一选通器选择第二路输入的数据输出；在输出阶段，第一选通器首先选择第一路输入的数据输出，以把所述累加器的计算结果加载到输出数据线上，然后选择第二路输入的数据输出，使得各个累加器的计算结果沿输出数据线依次传递到所述偏置相加模块。

5.根据权利要求2所述的基于FPGA的时空图神经网络加速器结构，其特征在于，所述激活函数模块内存储了各种可能的输入所对应的激活函数值，所述激活函数模块以输入作为地址直接读出激活函数值作为输出。

6.根据权利要求1所述的基于FPGA的时空图神经网络加速器结构，其特征在于，所述向量加速模块包括：

稀疏矩阵存储模块，用于保存所述融合函数中的稀疏矩阵；

由K个第二计算单元构成的并联同构计算模块，用于从所述稀疏矩阵存储模块获取的稀疏矩阵，从所述数据流控制模块的数据缓存中获取的图层输入信息、激活函数的运算结果、之前通过逐元素乘加运算得到的结果，执行稀疏矩阵相乘或者执行逐元素乘加运算，并将计算结果输出至所述数据流控制模块的数据缓存中。