[发明专利]一种神经网络压缩方法、电子设备及计算机可读介质

说明书

本发明实施例公开了一种神经网络压缩方法、装置、电子设备及计算机可读介质，其中方法包括：通过采用压缩的方法对第一权值矩阵进行压缩，直至压缩后的神经网络模型达到比较好的压缩效果。通过本申请，可以保证神经网络模型的拓扑结构保持不变，从而避免了神经网络模型的拓扑结构出现不规则，减少了神经网络的运算量。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种神经网络压缩方法、电子设备及计算机可读介质。

背景技术

神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，这种网络由大量的节点(或称神经元)之间星湖连接构成，通过调整内部大量节点之间相互连接的关系，利用输入神经元数据、权值产生输出数据模拟人脑的信息处理过程处理信息并生成模式识别之后的结果。

目前，神经网络被广泛应用在计算机视觉的各个领域，如图像识别、物体检测、图像分割等。然而，在实际应用中，神经网络模型往往有着数量庞大的模型参数(例如，超大规模权值)，在这种情况下，这意味着神经网络需要大量的计算资源和存储资源，大量的计算资源和存储资源的开销会降低神经网络的运算速度，对硬件的传输带宽以及运算器的要求也大大提高了，因此，如何在减少神经网络模型的参数的同时，降低神经网络的计算量变得十分重要。

现有技术中，通过剪枝方法对神经网络模型的参数进行调整，以减少神经网络模型的参数以及降低神经网络的计算量。以对神经网络的权值进行剪枝为例，如图1A所示，在对神经网络的权值进行剪枝之前，神经网络的拓扑结构是规则的，然而，在对神经网络的权值进行剪枝之后，容易导致神经网络模型中原有的规则的拓扑结构变得不规则。那么，如何避免神经网络模型中的拓扑结构变得不规则是亟需解决的技术问题。

发明内容

本发明实施例提供一种神经网络压缩方法、电子设备及计算机可读介质，在神经网络压缩过程中，可以保证神经网络模型的拓扑结构保持不变，从而避免了神经网络模型的拓扑结构出现不规则，减少了神经网络的运算量。

第一方面，本发明实施例提供了一种神经网络压缩方法，该方法包括：

获取第一输入数据；其中，所述第一输入数据包括第一权值矩阵；

将所述第一权值矩阵压缩为第二权值矩阵；其中，第二权值矩阵中包括至少两个子矩阵；

根据第二输入数据执行神经网络计算，其中，所述第二输入数据包括所述第二权值矩阵以及输入神经元数据。

可选的，所述将所述第一权值矩阵压缩为第二权值矩阵，包括：

将所述第一权值矩阵分解成第三权值矩阵；其中，所述第三权值矩阵包括至少两个子矩阵；

根据第一公式确定所述至少两个子矩阵中的每个子矩阵的大小，所述第一公式为Q≈Q₁*Q₂*......*Q_n；其中，所述Q表示第一权值矩阵；所述Q₁表示所述至少两个子矩阵中的第一子矩阵；所述Q₂表示所述至少两个子矩阵中的第二子矩阵；所述Q_n表示所述至少两个子矩阵中的第n子矩阵；

调整所述至少两个子矩阵中的每个子矩阵的大小，并通过训练压缩后的机器学习模型，以得到满足预设精度的第二权值矩阵。

可选的，所述根据第一公式确定所述至少两个子矩阵中的每个子矩阵的大小，所述第一公式为Q≈Q₁*Q₂*......*Q_n，包括：

根据所述第一公式和第二公式确定所述至少两个子矩阵中的每个子矩阵的大小，所述第二公式为||Q-Q₁*Q₂*......*Q_n||≤T，其中，所述T表示预设的误差阈值。