[发明专利]压缩/解压缩神经网络模型的装置、设备和方法

权利要求书

1.一种压缩/解压缩神经网络模型的方法，包括步骤：

S1：获取神经网络模型的待压缩参数；

S2：采用神经网络算法对所述待压缩参数进行压缩和训练，获得低维的神经网络参数；

S3：解压所述低维的神经网络参数，恢复神经网络模型的参数。

2.根据权利要求1所述的方法，其特征在于，步骤S1包括：

对神经网络模型的待压缩参数进行遍历选取，直至选取的待压缩参数的数量等于设定的维数。

3.根据权利要求1所述的方法，其特征在于，步骤S1包括：

对神经网络模型的待压缩参数进行遍历选取，对所述待压缩参数进行稀疏化，对选取的待压缩参数进行判断，小于设定阈值的待压缩参数被设置为0，选取稀疏化后的非零元并标记非零元的位置坐标，直至选取的待压缩参数的数量等于设定的维数。

4.根据权利要求2或3所述的方法，其特征在于，所述遍历选取按照构建神经网络模型的先后顺序依次获取各层的待压缩参数。

5.根据权利要求1所述的方法，其特征在于，步骤S2包括子步骤：

S21：以多层感知器为基础搭建自动编码神经网络，自动编码神经网络的输入层和输出层节点数相同，并且隐层节点数少于输入层节点数；

S22：输入待压缩参数，对自动编码神经网络每层的神经元进行前向传导计算，得到各层的激活值；

S23：令输出等于输入，使用后向传导算法求出输出层以及各层神经元的残差；

S24：利用梯度下降法更新权值W和偏置B，使输出越来越接近输入；

S25：权值和偏置收敛后，输出隐层的值，即为低维的神经网络参数。

6.根据权利要求5所述的方法，其特征在于，采用步骤S21中自动编码神经网络的部分网络进行解压缩，恢复到输出层中。

7.一种压缩/解压缩神经网络模型的装置，包括参数获取模块、模型压缩模块、模型存储模块和模型解压缩模块，其中，

参数获取模块，用于获取神经网络模型的待压缩参数；

模型压缩模块，用于采用神经网络算法压缩所述待压缩参数，并进行训练，获得低维的神经网络参数；

模型解压缩模块，用于解压缩低维的神经网络参数，形成恢复的神经网络参数；以及

存储模块，用于存储神经网络模型的待压缩参数、低维的神经网络参数和恢复的神经网络参数。

8.根据权利要求7所述的装置，其特征在于，所述模型压缩模块中，压缩所述待压缩参数通过自动编码神经网络算法进行压缩，自动编码神经网络分为压缩网络、中间隐层和解压缩网络，所述压缩网络输入待压缩参数，输出至中间隐层，且输入的节点数大于输出的节点数。

9.根据权利要求8所述的装置，其特征在于，所述自动编码神经网络以多层感知器为基础搭建。

10.根据权利要求8所述的装置，其特征在于，所述模型解压模块中，解压缩低维的神经网络参数通过所述解压缩网络进行解压，所述解压缩网络输入低维的神经网络参数，恢复神经网络参数的数量。

11.一种压缩/解压缩神经网络模型的设备，其中包括：

存储器，用于存储可执行指令；以及

处理器，用于执行存储器中存储的可执行指令，以执行如下操作：

获取神经网络模型的待压缩参数；

采用神经网络算法对所述待压缩参数进行压缩和训练，获得低维的神经网络参数；

解压所述低维的神经网络参数，恢复神经网络模型的参数。