[发明专利]用于压缩神经网络的方法和装置

说明书

本申请实施例公开了用于压缩神经网络的方法和装置。该方法的一具体实施方式包括:获取待压缩的经训练后的神经网络；从该神经网络的各层中选取至少一层作为待压缩层；按照待压缩层在该神经网络中所处的层级的层级数由大到小的顺序，依次对每个待压缩层执行以下处理步骤：基于该待压缩层所包括的参数的数量确定裁减比率，基于裁剪比率和参数值阈值，从该待压缩层所包括的参数中选取参数进行裁剪，并利用机器学习方法，基于预置的训练样本对经裁剪后的神经网络进行训练；将对选取出的各个待压缩层进行该处理步骤后所得的神经网络确定为经压缩后的神经网络，并存储经压缩后的神经网络。该实施方式实现了对神经网络的有效压缩。

技术领域

本申请实施例涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及用于压缩神经网络的方法和装置。

背景技术

目前，随着人工智能不断的发展，神经网络的应用范围也在不断的扩展。这里，神经网络是人工神经网络的简称。神经网络可以应用于服务端，以对图像、文字、音频等进行处理。当然，现在神经网络还可以包含在客户端应用中。用户通过其终端设备所安装的客户端应用中的神经网络可以实现对图像、文字、音频等的编辑。

现有的神经网络通常占用较多的存储空间，例如磁盘空间或内存空间等。若用户在其持有的设备(例如智能手机、平板电脑等移动设备)上安装较多的包含神经网络的应用，那么该设备可能剩余较少的可用存储空间，该设备可能会出现运行速度慢、宕机等异常情况。

发明内容

本申请实施例提出了用于压缩神经网络的方法和装置。

第一方面，本申请实施例提供了一种用于压缩神经网络的方法，该方法包括：获取待压缩的经训练后的神经网络；从神经网络的各层中选取至少一层作为待压缩层；按照待压缩层在神经网络中所处的层级的层级数由大到小的顺序，依次对每个待压缩层执行以下处理步骤：基于该待压缩层所包括的参数的总数量确定裁减比率，基于裁剪比率和参数值阈值，从该待压缩层所包括的参数中选取参数进行裁剪，并利用机器学习方法，基于预置的训练样本对经裁剪后的神经网络进行训练；将对选取出的各个待压缩层进行上述处理步骤后所得的神经网络确定为经压缩后的神经网络，并存储经压缩后的神经网络。

在一些实施例中，从神经网络的各层中选取至少一层作为待压缩层，包括：若神经网络包括卷积层和全连接层，则选取至少一个卷积层和/或至少一个全连接层作为待压缩层。

在一些实施例中，基于裁剪比率和参数值阈值，从该待压缩层所包括的参数中选取参数进行裁剪，并利用机器学习方法，基于预置的训练样本对经裁剪后的神经网络进行训练，包括：执行以下裁剪训练操作：将指定比率与上述总数量的乘积作为裁剪数量，按照参数值的绝对值由小到大的顺序，从该待压缩层所包括的参数中选取裁剪数量个参数值的绝对值不大于参数值阈值的参数进行裁剪，其中，指定比率不大于裁剪比率；利用机器学习方法，基于训练样本对经裁剪后的神经网络进行训练；如果当前经训练后的神经网络的精度低于预设精度，或该待压缩层中的被裁减的参数的数量与上述总数量的比值不低于裁减比率，则停止执行裁剪训练操作；如果当前经训练后的神经网络的精度不低于预设精度并且上述比值低于裁减比率，则基于裁减比率和上述比值重新设置指定比率，并继续执行裁剪训练操作。

在一些实施例中，基于裁减比率和比值重新设置指定比率，包括：将裁减比率减去比值得到第一比率，将指定比率重新设置为不大于第一比率的正数。

在一些实施例中，将指定比率重新设置为不大于第一比率的正数，包括：将指定比率重新设置为不大于指定比率的当前值和第一比率的正数。

在一些实施例中，将指定比率重新设置为不大于指定比率的当前值和第一比率的正数，包括：将指定比率重新设置为小于指定比率的当前值并且不大于第一比率的正数。