[发明专利]神经网络参数矩阵的稀疏化方法和装置

权利要求书

1.一种神经网络参数矩阵的稀疏化方法，包括：

在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数；

将所述最冗余的多个参数置0；

对置0后的参数进行标记并在之后的迭代训练过程中不再更新标记后的参数。

2.根据权利要求1所述的方法，其中，所述在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数包括：

在对神经网络参数进行每一轮迭代训练之前，将所述神经网络参数矩阵中非0的参数按照绝对值大小的顺序排列；

基于预设比例选出绝对值最小的多个参数为最冗余的多个参数。

3.根据权利要求2所述的方法，其中，所述方法还包括：

在对神经网络参数进行下一轮迭代训练之前，从未被标记的参数中选出所述神经网络参数矩阵中最冗余的多个参数；

将所述最冗余的多个参数置0；

对置0后的参数进行标记并在之后的迭代训练过程中不再更新标记后的参数。

4.根据权利要求1所述的方法，其中，所述在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数包括：

在对神经网络参数进行每一轮迭代训练之前，将所述神经网络参数矩阵中的参数的绝对值和预设阈值进行比较；

如果多个参数的绝对值小于所述预设阈值，将所述多个参数确定为最冗余的多个参数。

5.根据权利要求4所述的方法，其中，所述方法还包括：

如果某些参数的绝对值大于等于所述预设阈值，将所述某些参数确定为非冗余参数。

6.根据权利要求1-5中任一项所述的方法，其中，所述对所选出置0的参数进行标记包括：

记录所述置0后的参数在所述神经网络参数矩阵中的索引位置。

7.一种神经网络参数矩阵的稀疏化装置，包括：

冗余参数选择模块，配置为在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数；

置0模块，配置为将所述最冗余的多个参数置0；

标记模块，配置为对置0后的参数进行标记并在之后的迭代训练过程中不再更新标记后的参数。

8.根据权利要求7所述的装置，其中，所述冗余参数选择模块进一步配置为：

在对神经网络参数进行每一轮迭代训练之前，将所述神经网络参数矩阵中非0的参数按照绝对值大小的顺序排列；

基于预设比例选出绝对值最小的多个参数为最冗余的多个参数。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。