[发明专利]卷积神经网络的运算方法、装置及DPU

说明书

本发明公开了一种卷积神经网络的运算方法、装置及DPU，方法包括：第一缓存区获取神经网络模型第n层的参数以及第一数据；第一运算单元根据神经网络第n层的参数对第一数据进行计算，将计算结果作为第二数据；第二缓存区在第一运算单元计算的同时，获取神经网络模型第n+1层的参数；在第一运算单元计算完成后，第二缓存区接收并存储第二数据；第二运算单元根据第二缓存区存储的神经网络模型第n+1层的参数对第二数据进行计算，将计算结果对第一数据进行更新，将更新后的第一数据存储在第一缓存区，重复上述步骤直到预设的神经网络模型的最大层数的计算完毕为止。本发明提供的卷积神经网络的运算方法、装置及DPU，提高了神经网络的运行效率。

技术领域

本发明是关于卷积神经网络，特别是关于一种卷积神经网络的运算方法、装置及DPU。

背景技术

目前，卷积神经网络(英文全称：Convolutional Neural Networks，缩写：CNN)广泛运用在图像类应用中。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。通常CNN模型是由输入层、卷积层、池化层、全连接层和分类层组合而构成的，在CNN中卷积层和不同的卷积核进行局部连接，从而产生输入数据的多个特征输出，将输出经过池化层降维后通过全连接层和分类层获取与输出目标的误差，再利用反向传播算法反复地更新CNN中相邻层神经元之间的连接权值，缩小与输出目标的误差，最终完成整个模型参数的训练。

现有技术中，通常使用深度学习处理器(Deep learning Processing Uint，DPU)来进行CNN的运算。典型的DPU体系结构中处理器外部利用一个中央处理器(英文全称：Central Processing Unit，缩写：CPU)作为系统整体调度，将待处理数据以及神经元参数存储在外部存储即内存中。标准的DPU单元，每次只能计算一层的神经元，运算单元获取内存中的待处理数据以及神经元参数，并进行计算，该层神经元计算完成之后，将结果作为下一层的待计算数据，运算单元再通过内存获取下一层的神经元参数，完成下一层的神经网络运算。

基于此，本申请的发明人发现，现有的计算模式运算单元直接从内存中获取神经元的参数，需要一定的时延，而此时运算单元处于空闲状态，造成运行速率低，影响了系统的运行效率。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种卷积神经网络的运算方法、装置及DPU，其能够提高运行效率。

为实现上述目的，本发明提供了一种卷积神经网络的运算方法，包括：第一缓存区获取内存中存储的神经网络模型第n层的参数以及第一数据，并将所述神经网络模型第n层的参数以及第一数据存储在所述第一缓存区，n为奇数；第一运算单元用于获取第一缓存区中存储的神经网络模型第n层的参数以及第一数据，根据所述神经网络第n层的参数对所述第一数据进行计算，将计算结果作为第二数据；在根据所述神经网络模型第n层的参数对所述第一数据进行计算的同时，第二缓存区从内存中获取神经网络模型第n+1层的参数，并将所述神经网络模型第n+1层的参数存储在所述第二缓存区；在所述第一运算单元计算完成后，第二缓存区存储所述第二数据；第二运算单元获取第二缓存区中存储的神经网络模型第n+1层的参数以及所述第二数据，根据所述神经网络模型第n+1层的参数对所述第二数据进行计算，根据计算结果对所述第一数据进行更新，将更新后的第一数据存储至所述第一缓存区中。

在一优选的实施方式中，n从1开始，进行上述步骤，直到预设的神经网络模型的最大层数的计算完毕为止。