[发明专利]优化神经网络的运算的方法、装置和计算机设备

权利要求书

1.一种提高图像处理的效率的方法，其中，利用神经网络对输入图像数据进行处理以得到输出图像数据，且所述神经网络在正向上依次包括多个运算层，其中，至少一个运算层不改变输入图像数据的尺寸，所述神经网络的每个运算层的运算由包括软硬件结合的一个或多个FPGA电路构成的多个运算单元来执行，所述方法包括：

确定在正向上每个运算层的输出图像数据元素或输入图像数据元素中满足无效预设条件的图像数据元素的无效位置，其中满足无效预设条件的数据元素包括：每个运算层的输出数据包括的输出数据元素中被舍弃的数据元素以及非线性激活层中的正向输入数据中使得该非线性激活层的导函数的值无效的数据元素中的一种或多种；

确定要生成所述无效位置处的图像数据元素的运算单元为无效运算单元，作为关联无效单元；或者基于相邻运算层的运算单元之间的图像数据传递关系，确定与所述无效运算单元存在直接或间接的图像数据传递关系的、在所述无效运算单元所在的运算层之前的运算层的运算单元，作为关联无效单元；以及

在每个关联无效单元处，省略与所述无效位置处的图像数据元素相关联的运算过程相关的至少一部分操作，

其中，所述神经网络的运算包括正向运算和反向运算，

其中，确定在正向上每个运算层的输出图像数据元素或输入图像数据元素中满足无效预设条件的图像数据元素的无效位置，包括：在所述满足无效预设条件的数据元素包括所述被舍弃的数据元素的情况下，确定在正向上要从所述多个运算层中的选定运算层的输出图像数据元素中舍弃的至少一个图像数据元素的位置，作为无效位置，其中所述选定运算层的生成所述至少一个图像数据元素的运算单元作为第一无效运算单元集合,

其中，在每个关联无效单元处，省略与所述无效位置处的图像数据元素相关联的运算过程相关的至少一部分操作包括：在所述满足无效预设条件的数据元素包括所述被舍弃的数据元素的情况下，

在正向上，在所述关联无效单元处，省略正向运算过程相关的至少一部分操作，所述正向运算过程与要被正向传递到所述第一无效运算单元集合中的运算单元、且用于生成所述无效位置处的正向输出图像数据元素的图像数据元素相关联；或者

在反向上，在所述选定运算层不是正向上的第一个运算层的情况下，基于所述无效位置，确定要从所述第一无效运算单元集合中的运算单元反向传递输出的反向输出图像数据元素的位置中的第一无效位置，并且在所述关联无效单元处，省略反向运算过程相关的至少一部分操作，所述反向运算过程与所述第一无效位置处的反向输出图像数据元素相关联。

2.根据权利要求1所述的方法，其中，在正向上，在所述关联无效单元处，省略正向运算过程相关的至少一部分操作，包括：在正向上，在所述关联无效单元处，

禁止执行所述正向运算过程；或，执行所述正向运算过程但不存储运算结果；或，禁止执行正向运算过程且不存储运算结果；以及

将默认值作为所述关联无效单元的运算结果。

3.根据权利要求1所述的方法，其中，在反向上，在所述关联无效单元处，省略反向运算过程相关的至少一部分操作，包括：

在反向上，在所述关联无效单元处，禁止执行反向运算过程；或，执行所述反向运算过程但不存储运算结果，或，禁止执行所述反向运算过程且不存储运算结果。

4.根据权利要求1所述的方法，其中，

所述多个运算层在正向上依次包括第一类型运算层和非线性激活层，或者依次包括第一类型运算层、与第一类型运算层的类型不同的第二类型运算层和非线性激活层，并且

所述第二类型运算层的数量为一个或多个，并且所述第二类型运算层不改变输入到所述第二类型运算层中的输入图像数据的尺寸。