[发明专利]一种神经网络压缩方法、电子设备及计算机可读介质

权利要求书

1.一种神经网络压缩方法，其特征在于，包括：

获取第一输入数据；其中，所述第一输入数据包括第一权值矩阵；

将所述第一权值矩阵压缩为第二权值矩阵；其中，第二权值矩阵中包括至少两个子矩阵；

根据第二输入数据执行神经网络计算，其中，所述第二输入数据包括所述第二权值矩阵以及输入神经元数据。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一权值矩阵压缩为第二权值矩阵，包括：

将所述第一权值矩阵分解成第三权值矩阵；其中，所述第三权值矩阵包括至少两个子矩阵；

根据第一公式确定所述至少两个子矩阵中的每个子矩阵的大小，所述第一公式为Q≈Q₁*Q₂*......*Q_n；其中，所述Q表示第一权值矩阵；所述Q₁表示所述至少两个子矩阵中的第一子矩阵；所述Q₂表示所述至少两个子矩阵中的第二子矩阵；所述Q_n表示所述至少两个子矩阵中的第n子矩阵；

调整所述至少两个子矩阵中的每个子矩阵的大小，并通过训练压缩后的机器学习模型，以得到满足预设精度的第二权值矩阵。

3.根据权利要求2所述的方法，其特征在于，所述根据第一公式确定所述至少两个子矩阵中的每个子矩阵的大小，所述第一公式为Q≈Q₁*Q₂*......*Q_n，包括：

根据所述第一公式和第二公式确定所述至少两个子矩阵中的每个子矩阵的大小，所述第二公式为||Q-Q₁*Q₂*......*Q_n||≤T，其中，所述T表示预设的误差阈值。

4.根据权利要求2或3所述的方法，其特征在于，所述调整所述至少两个子矩阵中的每个子矩阵的大小，并通过训练压缩后的机器学习模型，以得到满足预设精度的第二权值矩阵，包括：

调整所述至少两个子矩阵中的每个子矩阵的大小，并通过训练压缩后的机器学习模型，以得到满足预设精度并且与所述第一权值矩阵之间的压缩比满足预设压缩比的第二权值矩阵。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述神经网络为全连接层神经网络；所述至少两个子矩阵包括两个子矩阵；所述第一公式包括：M≈M₁*M₂；所述两个子矩阵包括第一子矩阵M1和第二子矩阵M2，所述M1为N_in*K矩阵，所述M2为K*N_out矩阵；其中，K为压缩参数，N_in为所述神经网络的输入神经元的个数，N_out为所述神经网络的输出神经元的个数；所述压缩参数用于表征所述M1的输出神经元的个数以及所述M2的输入神经元的个数，所述K为大于0且小于等于min(N_in，N_out)的正整数。

6.根据权利要求2-4任一项所述的方法，其特征在于，所述神经网络为卷积层神经网络；所述卷积层神经网络包括N_fin*N_fout个卷积核；所述第一公式包括：F≈F₁*F₂；其中，F表示所述N_fin*N_fout个卷积核中的任意一个卷积核；所述F1为第一子卷积核；所述F2为第二子卷积核；所述第一子卷积核F1为(K_x，R)，所述第二子卷积核F2为(R，K_y)，(K_x，K_y)表示卷积核的大小，R为压缩参数，所述R为大于0且小于等于min(K_x，K_y)的正整数。