[发明专利]基于FPGA的时空图神经网络加速器结构

说明书

本发明公开了一种基于FPGA的时空图神经网络加速器结构，设计了张量和向量双加速模块并行处理的方式，向量加速模块执行稀疏矩阵相乘或者执行逐元素乘加运算，张量加速模块执行稠密矩阵相乘、偏置项相加以及不同激活函数的运算，而且系统控制模块控制所述张量加速模块和向量加速模块按照设定的计算时序完成与所述计算时序对应的计算，数据流控制模块控制张量加速模块和所述向量加速模块之间的数据流向以便循环完成计算，整个架构的设计实现了对三维时空图神经网络的高效处理，以简洁的方式实现了多功能函数的计算；由于可以实现多种神经网络模式的加速计算，可以向下兼容图卷积神经网络GCN和门控递归单元GRU等多种网络模型的加速，具备了更强的普适性。

技术领域

本发明涉及时空图数据处理领域，尤其涉及一种基于FPGA的时空图神经网络加速器结构。

背景技术

时空图是一种具有时间和空间的三维网络数据结构，属于动态图的一种。它广泛存在于社交网络和传感器网络等包含时间信息的图数据中。不同于静态图中每个节点和连接的信息不随时间改变，动态图具有额外的时间维度，它的节点和连接可能随时间发生变化。时空图在推荐系统、交通预测、流行病传播预测等多个方面有重要的应用和研究价值。随着数据量的不断增长，人工智能AI算法获得了极大的发展，在图像、语音、网络等多个领域被广泛应用。将AI技术与时空图结合构造时空图神经网络可以提高对动态图的高效率高性能的数据处理与分析。时空图神经网络在广泛的场景中获得应用。在城市电网中，发电站与用户通过输电线组成了复杂的传输网络，发电站的输电量需要匹配用户实时变化的耗电量，这是一个动态平衡问题。在交通网络中，城市道路也构成了复杂的网络，实时车流量的监控和预测，对于疏解道路交通拥堵具有重要意义。在社交网络中，系统需要实时应对频繁的用户与联系的创建和变化关系，捕捉用户频繁变化的关注内容，是构造高效精准的推荐系统的关键。目前常用的时空图神经网络模型有：TGCN网络，是应用于精准城市交通预测的网络模型，并结合了图卷积神经网络(GCN)和门控递归单元(GRU)构造基础的单元；DCRNN网络，采用了编码解码器架构，并分别利用GCN和GRU来分别提取动态图的空间和时间维度的特征信息。可见，时空图神经网络中多数采用了GCN和GRU来分别处理空间和时间维度的数据，属于混合架构的神经网络模型。

神经网络存在计算开销大长，延迟高的问题。基于GPU的加速技术虽然可以大幅加速计算速度，但却面临着功耗大的缺陷。现有的基于FPGA的加速器架构设计一般针对其中具体的一种网络结构做优化，比如：针对CNN，加速器架构设计需要处理图像识别应用中庞大的矩阵乘法运算，常见的架构设计包括构造二维脉动阵列、一维的SIMD向量模块、或若干处理单元PE并行的方式做计算加速；针对GRU和LSTM这类广泛应用于时间序列数据处理的网络模型，考虑到其中存在大量的复杂函数运算以及逐元素运算，目前尚没有统一的设计模式，常见的设计为构造若干并行PE处理单元，并构造查找表，加法树等结构对特殊函数实现加速；针对GCN，因为GCN主要用于静态图的分析，它是稠密矩阵运算和稀疏矩阵运算的混合形式，一般采用双模块并行加速的架构设计，其中稠密矩阵运算多采用二维脉动阵列做计算，而对稀疏矩阵运算会设计一维的向量模块做加速。因此，现有技术一般针对某一种神经网络结构做加速，难以适应包含多种计算样式的网络模型。而时空图神经网络作为同时包含了图卷积神经网络GCN和循环神经网络GRU两种结构的模型，其计算函数包括稠密矩阵运算、稀疏矩阵运算、逐元素乘加法、多种激活函数集成等，其复杂的计算特征使得它难以在现有架构的加速器上获得良好的性能。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述只能针对某一种神经网络结构做加速，难以适应包含多种计算样式的网络模型的缺陷，提供一种基于FPGA的时空图神经网络加速器结构，适用于包含了GCN和GRU网络，该加速器在简洁的架构下实现高效能的稠密矩阵运算、稀疏矩阵运算、逐元素乘加法以及多种激活函数计算。

本发明解决其技术问题所采用的技术方案是：构造一种基于FPGA的时空图神经网络加速器结构，所述时空图神经网络每层输出的计算过程是多种网络结构的融合，所述加速器结构包括：