[发明专利]基于向量处理器的深度神经网络多核加速实现方法

说明书

本发明公开一种基于向量处理器的深度神经网络多核加速实现方法，步骤包括：S1.将待处理数据按一维向量输出，并作为输入值输入至目标深度神经网络；S2.由向量处理器中各个核依次计算目标深度神经网络中相邻两个隐层的权值矩阵，每次计算时，将输入值广播至各个核内的标量存储体中，同时加载相邻两个隐层的权值矩阵，将加载的权值矩阵进行划分后分别传输至各个核内的向量存储体中，启动各个核并行计算后得到多个向量计算结果并作为下一次计算的输入值。本发明实现方法简单、所需成本低、能够充分利用多核向量处理器的特性实现DNN的并行加速，并行性以及加速效果好等优点。

技术领域

本发明涉及大规模神经网络计算技术领域，尤其涉及一种基于向量处理器的深度神经网络多核加速实现方法。

背景技术

深度神经网络DNN(deep neural network，DNN)主要是指一种含有多个隐藏层的全连接神经网络，其中相邻层之间全连接、层内无连接，是深度学习中的一种重要神经网络模型。如图1所示，DNN模型一般有3层以上，每层的计算节点也有很多，相邻层的计算模型可以抽象成一个矩阵向量乘法操作，模型通过BP(back propagation，BP)算法进行训练。

由于深度神经网络模型往往有多层且每层有大量的节点，因此其计算属于典型的计算密集型，采用单核系统计算大规模多层的神经网络，往往不能取得很好的计算效果，基于单芯片已难以满足深度神经网络所需的高密集、实时运算等应用时的计算需求。

向量处理器是一种包括标量处理部件(SPU)和向量处理部件(VPU)的处理器结构，如图2所示为一个单核向量处理器的典型结构，其中标量处理部件负责标量任务的计算和流控，向量处理部件负责密集型且并行程度较高的计算，包括若干向量处理单元(VPE)，每个处理单元上包含丰富的运算部件，具有非常强大的计算能力，可以大幅提高系统的计算性能。

向量处理器中向量处理部件内包含大量的向量处理单元(PE)，这些处理单元都有各自的运算部件和寄存器，向量处理单元间则通过规约指令或混洗操作进行数据交互，如向量处理单元之间的数据相乘、比较等；标量处理单元主要负责流控和逻辑判断指令的处理，以及一些标量的数据访问操作、DMA的数据传输模式的配置等，其中向量处理单元运算所用的数据由向量数据存储单元提供，标量数据处理单元运算所用数据由标量数据存储单元提供。

应用向量处理器计算深度神经网络，可以有效提高深度神经网络的计算性能，但是目前通过向量处理器计算深度神经网络模型时，通常都是基于单核向量处理器实现，其仍然无法很好的满足深度神经网络所需的高密集、实时运算等的计算需求。因此，亟需提供一种基于多核向量处理器实现深度神经网络方法，以提高深度神经网络在高密集、实时运算等的计算性能。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、所需成本低、能够充分利用多核向量处理器的特性实现DNN的并行加速，且并行性以及加速效果好的基于向量处理器的深度神经网络多核加速实现方法。

为解决上述技术问题，本发明提出的技术方案为：

一种基于向量处理器的深度神经网络多核加速实现方法，步骤包括：

S1.将待处理数据按一维向量输出，并作为输入值输入至目标深度神经网络；

S2.由向量处理器中各个核依次计算目标深度神经网络中相邻两个隐层的权值矩阵，每次计算时，将输入值广播至各个核内的标量存储体中，同时加载相邻两个隐层的权值矩阵，将加载的所述权值矩阵进行划分后分别传输至各个核内的向量存储体中，启动各个核并行计算后得到多个向量计算结果并作为下一次计算的输入值。

作为本发明的进一步改进：所述步骤S2中每次计算时，具体通过启动DMA的广播传输模式，将输入值广播至各个核内的标量存储体中。