[发明专利]优化神经网络的运算的方法、装置和计算机设备

说明书

提供了一种优化神经网络的运算的方法、装置、和计算机设备。该神经网络在正向上依次包括多个运算层，其中，至少一个运算层不改变输入数据的尺寸，方法包括：确定在正向上每个运算层的输出数据元素或输入数据元素中满足无效预设条件的数据元素的无效位置；确定要生成所述无效位置处的数据元素的无效运算单元，作为关联无效单元；或者基于相邻运算层的运算单元之间的数据传递关系，确定与所述无效运算单元存在直接或间接的数据传递关系的、在所述无效运算单元所在的运算层之前的运算层中的运算单元，作为关联无效单元；以及在每个关联无效单元处，省略与所述无效位置处的数据元素相关联的运算过程相关的至少一部分操作。

技术领域

本公开涉及计算机技术领域，更具体地，涉及优化神经网络的运算的方法、装置、计算机设备。

背景技术

神经网络（Neural Networks，NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统。神经网络是深度学习模型的基础，目前广泛应用在例如对象识别、分类、图像处理、机器人控制、预测等方面。常用的神经网络模型按大类可以包括前馈神经网络、卷积神经网络和循环神经网络，当然也可以根据其他的划分方式而为其他不同的网络。

目前许多神经网络模型是采用反向传播（BP）算法或它的变化形式来进行神经网络模型参数的更新，以使模型的输出误差优化到最小值。通常的过程包括三个步骤：（1）神经网络的正向计算，即输入样本从输入层进入网络，经隐藏层逐层传递至输出层，得到正向计算结果；（2）梯度的反向传递，基于链式法则和偏微分求解而进行梯度传递；（3）参数更新，可以基于每一层的节点（神经元）的导数或梯度，实现将误差分摊到不同的层，以用于实现对模型参数的更新。这些从都是本领域神经网络的常用方式，因此具体细节被省略。

神经网络模型中如上所述的过程所涉及的运算是非常多的，特别是神经网络模型通常要进行的例如卷积运算、逐元素（element-wise）运算、矩阵运算等的运算，通常占用处理器的大量算力和存储空间，并且会增加功耗，因此，需要一种用于对这种情况进行优化的用于改进神经网络的运算的方法。

发明内容

根据本公开的一方面，提供了一种优化神经网络的运算的方法，其中，所述神经网络在正向上依次包括多个运算层，其中，至少一个运算层不改变输入数据的尺寸，所述方法包括：确定在正向上每个运算层的输出数据元素或输入数据元素中满足无效预设条件的数据元素的无效位置；确定要生成所述无效位置处的数据元素的无效运算单元，作为关联无效单元；或者基于相邻运算层的运算单元之间的数据传递关系，确定与所述无效运算单元存在直接或间接的数据传递关系的、在所述无效运算单元所在的运算层之前的运算层的运算单元，作为关联无效单元；以及在每个关联无效单元处，省略与所述无效位置处的数据元素相关联的运算过程相关的至少一部分操作。

根据本公开的另一方面，还提供了另一种优化神经网络的运算的方法，其中，所述神经网络在正向上依次包括多个运算层，所述多个运算层中至少一个运算层不改变输入数据的尺寸，所述方法包括：确定在正向上每个运算层的输出数据中满足无效预设条件的数据元素的无效位置；在待处理数据经由第一个运算层进行运算前，针对每个运算层：基于在相邻运算层的运算单元之间的数据传递关系，预测所述待处理数据在正向上经过所述运算层之后的每个输出数据元素的位置以及将被提供至的下一个运算层的运算单元；以及，在所预测的所述运算层的至少一个输出数据元素的位置与所述无效位置匹配的情况下，确定i)在所述运算层的用于生成所述至少一个输出数据元素的运算单元，或者ii)在正向上所述运算层之前的运算层的、与用于生成所述至少一个输出数据元素的运算单元存在直接或间接的数据传递关系的运算单元，作为关联无效单元；以及在对所述待处理数据进行运算时，在每个关联无效单元处，省略与所述无效位置处的数据元素相关联的运算过程相关的至少一部分操作。