[发明专利]用于压缩神经网络的方法和装置

权利要求书

1.一种用于压缩神经网络的方法，包括：

获取待压缩的经训练后的神经网络，其中，所述神经网络的占用空间超出占用空间阈值；

从所述神经网络的各层中选取至少一层作为待压缩层；

按照待压缩层在所述神经网络中所处的层级的层级数由大到小的顺序，依次对每个待压缩层执行以下处理步骤：基于该待压缩层所包括的参数的总数量确定裁剪比率，基于所述裁剪比率和参数值阈值，从该待压缩层所包括的参数中选取参数进行裁剪，并利用机器学习方法，基于预置的训练样本对经裁剪后的神经网络进行训练；

将对选取出的各个待压缩层进行所述处理步骤后所得的神经网络确定为经压缩后的神经网络，并存储所述经压缩后的神经网络；

所述基于所述裁剪比率和参数值阈值，从该待压缩层所包括的参数中选取参数进行裁剪，并利用机器学习方法，基于预置的训练样本对经裁剪后的神经网络进行训练，包括：

执行以下裁剪训练操作：将指定比率与所述总数量的乘积作为裁剪数量，按照参数值的绝对值由小到大的顺序，从该待压缩层所包括的参数中选取所述裁剪数量个参数值的绝对值不大于所述参数值阈值的参数进行裁剪，其中，所述指定比率不大于所述裁剪比率。

2.根据权利要求1所述的方法，其中，所述从所述神经网络的各层中选取至少一层作为待压缩层，包括：

若所述神经网络包括卷积层和全连接层，则选取至少一个卷积层和/或至少一个全连接层作为待压缩层。

3.根据权利要求1所述的方法，其中，

所述裁剪训练操作还包括：利用机器学习方法，基于所述训练样本对经裁剪后的神经网络进行训练；如果当前经训练后的神经网络的精度低于预设精度，或该待压缩层中的被裁减的参数的数量与所述总数量的比值不低于所述裁减比率，则停止执行所述裁剪训练操作；

如果当前经训练后的神经网络的精度不低于所述预设精度并且所述比值低于所述裁减比率，则基于所述裁减比率和所述比值重新设置所述指定比率，并继续执行所述裁剪训练操作。

4.根据权利要求3所述的方法，其中，所述基于所述裁减比率和所述比值重新设置所述指定比率，包括：

将所述裁减比率减去所述比值得到第一比率，将所述指定比率重新设置为不大于所述第一比率的正数。

5.根据权利要求4所述的方法，其中，所述将所述指定比率重新设置为不大于所述第一比率的正数，包括：

将所述指定比率重新设置为不大于所述指定比率的当前值和所述第一比率的正数。

6.根据权利要求5所述的方法，其中，所述将所述指定比率重新设置为不大于所述指定比率的当前值和所述第一比率的正数，包括：

将所述指定比率重新设置为小于所述当前值并且不大于所述第一比率的正数。

7.一种用于压缩神经网络的装置，包括：

获取单元，配置用于获取待压缩的经训练后的神经网络，其中，所述神经网络的占用空间超出占用空间阈值；

选取单元，配置用于从所述神经网络的各层中选取至少一层作为待压缩层；

处理单元，配置用于按照待压缩层在所述神经网络中所处的层级的层级数由大到小的顺序，依次对每个待压缩层执行以下处理步骤：基于该待压缩层所包括的参数的总数量确定裁剪比率，基于所述裁剪比率和参数值阈值，从该待压缩层所包括的参数中选取参数进行裁剪，并利用机器学习方法，基于预置的训练样本对经裁剪后的神经网络进行训练；

存储单元，配置用于将对选取出的各个待压缩层进行所述处理步骤后所得的神经网络确定为经压缩后的神经网络，并存储所述经压缩后的神经网络；

所述处理单元包括：

第一处理子单元，配置用于执行以下裁剪训练操作：将指定比率与所述总数量的乘积作为裁剪数量，按照参数值的绝对值由小到大的顺序，从该待压缩层所包括的参数中选取所述裁剪数量个参数值的绝对值不大于所述参数值阈值的参数进行裁剪，其中，所述指定比率不大于所述裁剪比率。