[发明专利]一种压缩和解压缩神经网络模型的方法及设备

说明书

本申请实施例公开了一种压缩和解压缩神经网络模型的方法及设备，用于降低神经网络模型对存储资源的占用。本申请实施例方法包括：获取M个待压缩数据集合，每个待压缩数据集合中包含神经网络模型的至少一个参数的实际值，M为大于1的整数；根据M个不同的目标压缩参数对M个待压缩数据集合中各参数的实际值进行压缩，以得到M个压缩数据集合，每个压缩数据集合中包含神经网络模型的至少一个参数的压缩值，M个不同的目标压缩参数与M个待压缩数据集合一一对应。

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种压缩和解压缩神经网络模型的方法及设备。

背景技术

随着科学技术的进步与发展，人工智能的影响越来越大。近些年来，伴随着相关技术的进步，人工智能技术也迈进了快速发展的阶段。相比于其他人工智能技术，神经网络方法的精度更高，但也存在不足。例如，神经网络模型的结构较复杂，神经网络模型的参数较多，导致神经网络模型需要占用大量的存储资源。

因此，需要一种压缩神经网络模型的方法，以降低神经网络模型对存储资源的占用。

发明内容

本申请实施例提供了一种压缩和解压缩神经网络模型的方法及设备，用于降低神经网络模型对存储资源的占用。

本申请实施例第一方面提供了一种压缩神经网络模型的方法，可以应用于训练神经网络模型的服务器或终端设备中，包括：

获取M个待压缩数据集合，每个待压缩数据集合中包含神经网络模型的至少一个参数的实际值，M为大于1的整数，神经网络模型的参数可以是神经元的权值，M的取值可以根据实际需要进行调整；根据M个不同的目标压缩参数对M个待压缩数据集合中各参数的实际值进行压缩，以得到M个压缩数据集合，每个压缩数据集合中包含神经网络模型的至少一个参数的压缩值，M个不同的目标压缩参数与M个待压缩数据集合一一对应，目标压缩参数是指压缩过程中使用的参数，例如，该目标压缩参数可以为相对误差，也可以是绝对误差。

根据M个不同的目标压缩参数对M个待压缩数据集合中各参数的实际值进行压缩，能够在保证神经网络模型的性能不明显下降的情况下，提高压缩比，以提升压缩效果，减少神经网络模型对存储资源的占用。

在一种实现方式下，神经网络模型由N层神经元构成，N为大于1的整数；每个待压缩数据集合中包含N层神经元中一层或多层神经元的参数的实际值。

在该实现方式下，压缩同一层神经元的参数的实际值所使用的目标压缩参数相同。

在一种实现方式下，M个待压缩数据集合包括第一待压缩数据集合；第一待压缩数据集合包含多层神经元的参数的实际值，且第一待压缩数据集合包含的多层神经元在神经网络模型中的位置是连续的。

由于位置相近的参数的改变对神经网络模型的影响程度相近，所以将位置连续的多层神经元的参数的实际值组成一个待压缩数据集合，从而实现采用同一目标压缩参数对位置连续的多层神经元的参数的实际值进行压缩。

在一种实现方式下，M个待压缩数据集合包括第二待压缩数据集合，第二待压缩数据集合与M个不同的目标压缩参数中的第一目标压缩参数对应；根据M个不同的目标压缩参数对M个待压缩数据集合中各参数的实际值进行压缩，以得到M个压缩数据集合包括：根据第一目标压缩参数对第二待压缩数据集合包含的X层神经元的参数的实际值进行层层压缩，以得到X组参数的压缩值，X组参数的压缩值与X层神经元一一对应，且构成一个压缩数据集合，X为小于N的正整数。

在该实现方式下，每压缩一层神经元的参数的实际值，得到一组参数的压缩值。