[发明专利]神经网络参数矩阵的稀疏化方法和装置

说明书

本发明公开神经网络参数矩阵的稀疏化方法和装置，其中，一种神经网络参数矩阵的稀疏化方法，包括：在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数；将所述最冗余的多个参数置0；对置0后的参数进行标记并在之后的迭代训练过程中不再更新标记后的参数。本申请的方法和装置提供的方案通过增量式稀疏化算法，网络最终的稀疏化能够达到80％以上，大大的降低了参数所需的存储空间，提升计算速度，并且因为是增量式的稀疏化算法，每一轮虽然置0了部分权值，但是非0部分还是会参与训练，所以识别的性能不会降低。

技术领域

本发明属于神经网络技术领域，尤其涉及神经网络参数矩阵的稀疏化方法和装置。

背景技术

相关技术中，svd(Singular Value Decomposition，奇异值分解)分解算法，nodeprune点裁剪算法，传统的稀疏矩阵算法是目前比较常见的几种技术。其中，svd分解算法：把一个m*n的矩阵做svd分解成m*r+r*n(r<<n)；Node prune：根据矩阵的某一行或者某一列的总的权重做为代价从而裁剪掉某行某列；传统的稀疏矩阵算法：训练过程中做L1范数约束；对训练之后的网络根据权重大小强行清除掉某些权值小的元素。

发明人在实现本申请的过程中发现，现有方案至少存在以下缺陷：

svd分解或者Node prune算法都是一种规则的裁剪算法，裁剪掉的都是矩阵的整行或者整列，然而每一行或每一列都有比较重要的元素，被强制裁剪后识别性能会大大降低。

传统的稀疏矩阵训练过程中不做干涉，而在整个训练结束后强制清除某些元素，会使得识别性能显著下降。

发明内容

本发明实施例提供一种神经网络参数矩阵的稀疏化方法和装置，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种神经网络参数矩阵的稀疏化方法，包括：在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数；将所述最冗余的多个参数置0；对置0后的参数进行标记并在之后的迭代训练过程中不再更新标记后的参数。

第二方面，本发明实施例提供一种神经网络参数矩阵的稀疏化装置，包括：冗余参数选择模块，配置为在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数；置0模块，配置为将所述最冗余的多个参数置0；以及标记模块，配置为对置0后的参数进行标记并在之后的迭代训练过程中不再更新标记后的参数。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的神经网络参数矩阵的稀疏化方法的步骤。

第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的神经网络参数矩阵的稀疏化方法的步骤。

本申请的方法和装置提供的方案通过采用增量式稀疏化算法，网络最终的稀疏化能够达到80％以上，大大的降低了参数(稀疏矩阵本身存储的参数量会小)，提升计算速度(稀疏矩阵计算会加速)，并且因为是增量式的稀疏化算法，每一轮虽然置0了部分权值，但是非0部分还是会参与训练，所以识别的性能不会降低。进一步的，参数的大幅度减小意味着识别的速度大幅度变快，内存的消耗大幅度降低。从产品体验的角度来看，识别结果更加迅速无延时，客户体验效果好。从成本的角度来看，可以用更加低端便宜些的处理器和内存，从而大大降低了产品的成本。

附图说明