[发明专利]神经网络数据压缩及其相关计算方法和装置

权利要求书

1.一种神经网络数据压缩方法，包括：

获取经定点化的神经网络模型；以及

使用两个或以上数字的组合代替所述神经网络模型计算中连续出现的特定数字。

2.如权利要求1所述的方法，其中，被代替的所述特定数字包括如下至少一项：

经定点量化的参数；

输入所述神经网络模型的输入值；以及

所述神经网络模型计算中生成的激活值。

3.如权利要求2所述的方法，其中，获取经定点化的神经网络模型包括如下至少一项：

获取所述神经网络模型中经定点化的参数；以及

获取所述神经网络模型中的输入值和/或每一层的激活值的定点量化规则。

4.如权利要求1所述的方法，其中，所述特定数字的数值大小基于如下至少一种确定：

默认为0值；

所在层的定点量化偏移量；和/或

所述两个或以上数字的组合中的数字数值。

5.如权利要求1所述的方法，其中，所述两个或以上数字的组合包括：

用于表示特定数字连续出现的一个或以上的第一数字；以及

用于表示该特定数字连续出现的次数的一个或以上的第二数字。

6.如权利要求5所述的方法，其中，所述第一数字为单个第一数字，并且该数字的数值大小基于如下至少一种确定：

定点位宽所对应的最小负值；

0值；和/或

声明的任意值。

7.如权利要求6所述的方法，其中，所述单个第一数字的数值大小被规定为不用于表示所述神经网络模型的全部参数或特定范围的参数的数值大小。

8.如权利要求6所述的方法，其中，所述第二数字是接在单个第一数字之后的单个第二数字，所述单个第二数字的数值用于表示该特定数字连续出现的次数。

9.如权利要求8所述的方法，其中，所述单个第二数字表示从3到2的定点位宽次幂的连续出现次数。

10.如权利要求1所述的方法，其中，所述定点化是对称定点化，并且使用两个或以上数字的组合代替所述参数中连续出现的特定数字的数值是0。

11.如权利要求1所述的方法，其中，使用两个或以上数字的组合代替所述参数中连续出现的特定数字包括：

逐层确定使用两个或以上数字的组合代替所述神经网络模型计算中连续出现的特定数字的数值。

12.如权利要求11所述的方法，其中，使用两个或以上数字的组合代替所述参数中连续出现的特定数字包括：

使用不同的数字组合表示所述参数中连续出现的不同的特定数字。

13.一种神经网络计算方法，包括：

在与外部存储器的存储和/或读取中使用根据如权利要求1-11中任一项所述的方法压缩的数据；以及

从所述两个或以上数字的组合中恢复被代替的所述连续出现的特定数字以执行神经网络计算。

14.如权利要去13所述的方法，其中，从所述两个或以上数字的组合中恢复被代替的所述连续出现的特定数字以执行神经网络计算包括：

基于所述组合中的一个或多个数字判断需要恢复的所述连续出现的特定数字；以及

基于所述组合中表示连续出现次数的一个或多个数字恢复所述连续出现的特定数字。

15.如权利要去14所述的方法，其中，基于所述组合中表示连续出现次数的一个或多个数字恢复所述连续出现的特定数字包括：

使用计数器读取所述连续出现次数，输出所述特定数字且所述计数器减一，直到所述计数器的读数为零。