[发明专利]一种神经网络参数压缩方法及相关装置

说明书

本申请公开了一种神经网络参数压缩方法，包括：对低阶输入数据进行升阶处理，得到高阶输入数据；对所述高阶输入数据进行张量分解处理，得到高阶输出结果；根据所述低阶输入数据的阶数对所述高阶输出结果进行展开处理，得到低阶输出结果。通过将低阶输入数据升阶为高阶输入数据，然后再对高阶输入数据进行张量分解处理，最后将张量分解的结果展开为低阶输入数据相同阶数的参数，实现对低阶输入数据进行压缩，降低神经网络处理时的数据量，提高性能利用率。本申请还公开了一种神经网络参数压缩装置、计算机设备以及计算机可读存储介质，具有以上有益效果。

技术领域

本申请涉及计算机技术领域，特别涉及一种神经网络参数压缩方法、神 经网络参数压缩装置、计算机设备以及计算机可读存储介质。

背景技术

随着信息技术的不断发展，在深度学习领域出现了多种多样的参数处理 方式，以提高深度学习过程的性能。

现有技术中通常采用张量分解处理对参数进行参数压缩处理。一般的， 张量分解处理包括CP分解处理和Tucker分解处理。其中，Tucker分解处理是将 张量分解为核心张量和三个因子矩阵，以便对神经网络的参数进行分解。当 神经网络的参数阶数越高时进行Tucker分解处理的压缩性能越高。但是，当神 经网络参数的阶数越低时，压缩性能越低。也就是，将Tucker分解处理应用在 低阶输入数据时，例如采用Tucker对一阶参数进行参数压缩时，对于等量的数 据量进行压缩后的压缩性能最低，无法通过Tucker计算得到很好的压缩结果。 进而在对低阶输入数据进行神经网络学习时，由于压缩效果较低，需要处理 的压缩量较高，降低性能利用率。

因此，如何提高神经网络对低阶输入数据的压缩效果是本领域技术人员 关注的重点问题。

发明内容

本申请的目的是提供一种神经网络参数压缩方法、神经网络参数压缩装 置、计算机设备以及计算机可读存储介质，通过将低阶输入数据升阶为高阶 输入数据，然后再对高阶输入数据进行张量分解处理，最后将张量分解的结 果展开为低阶输入数据相同阶数的参数，实现对低阶输入数据进行压缩，降 低神经网络处理时的数据量，提高性能利用率。

为解决上述技术问题，本申请提供一种神经网络参数压缩方法，包括：

对低阶输入数据进行升阶处理，得到高阶输入数据；

对所述高阶输入数据进行张量分解处理，得到高阶输出结果；

根据所述低阶输入数据的阶数对所述高阶输出结果进行展开处理，得到 低阶输出结果。

可选的，对低阶输入数据进行升阶处理，得到高阶输入数据，包括：

根据预设约束规则确定所述低阶输入数据的升阶值；

根据所述升阶值对所述低阶输入数据进行升阶处理，得到所述高阶输入 数据。

可选的，根据预设约束规则确定所述低阶输入数据的升阶值，包括：

根据所述预设约束规则确定升阶值不等式；

对所述升阶值不等式进行求取极值处理，得到所述升阶值。

可选的，对所述高阶输入数据进行张量分解处理，得到高阶输出结果， 包括：

对所述高阶输入数据进行Tucker分解处理，得到所述高阶输出结果。

可选的，对所述高阶输入数据进行张量分解处理，得到高阶输出结果， 包括：

对所述高阶输入数据进行CP分解处理，得到所述高阶输出结果。

本申请还提供一种神经网络参数压缩装置，包括：

升阶处理模块，用于对低阶输入数据进行升阶处理，得到高阶输入数据；