[发明专利]模型压缩方法、系统、终端及存储介质

权利要求书

1.一种模型压缩方法，其特征在于，所述方法包括：

获取待压缩模型，并对所述待压缩模型进行模型训练；

在模型训练后的所述待压缩模型中添加正则项，并对添加所述正则项后的所述待压缩模型的权重张量进行奇异值分解，得到奇异值矩阵，所述正则项用于对所述待压缩模型中的权重参数进行参数稀疏；

根据所述奇异值矩阵返回执行所述对所述待压缩模型进行模型训练的步骤及后续步骤，直至所述待压缩模型满足性能下降条件，输出所述待压缩模型；

根据输出的所述待压缩模型的权重张量进行参数聚类，得到权重参数矩阵，并对所述权重参数矩阵进行权值量化，得到聚类量化矩阵；

根据所述聚类量化矩阵对所述待压缩模型进行参数设置，得到压缩模型。

2.如权利要求1所述的模型压缩方法，其特征在于，所述根据所述奇异值矩阵返回执行所述对所述待压缩模型进行模型训练的步骤及后续步骤之前，所述方法还包括：

将测试数据输入训练后的所述待压缩模型进行数据处理，得到输出数据，并获取所述测试数据的标准数据；

根据所述标准数据和所述输出数据，对所述待压缩模型进行性能检测，得到主观评价指标、音频可懂指标和语音质量评价指标；

若所述主观评价指标、所述音频可懂指标和所述语音质量评价指标满足预设指标条件，则判定所述待压缩模型满足性能下降条件。

3.如权利要求2所述的模型压缩方法，其特征在于，所述根据所述标准数据和所述输出数据，对所述待压缩模型进行性能检测，包括：

获取所述输出数据中的输出图像，并获取所述标准数据中的标准图像；

根据所述标准图像和所述输出图像进行信噪比计算，得到所述主观评价指标；

获取所述输出数据中的输出音频，并获取所述标准数据中的标准音频；

根据所述输出音频和所述标准音频进行短时客观可懂度计算，得到所述音频可懂指标；

获取所述输出数据中的输出语音，并获取所述标准数据中的标准语音；

根据所述输出语音和所述标准语音进行感知语音质量评价计算，得到所述语音质量评价指标。

4.如权利要求1所述的模型压缩方法，其特征在于，所述在模型训练后的所述待压缩模型中添加正则项，包括：

查询所述待压缩模型中的编码层，并在各编码层的归一化层中添加第一正则项；

查询所述待压缩模型中的长短期记忆网络层，并在各长短期记忆网络层的归一层中添加第二正则项；

所述第一正则项包括：

所述第二正则项包括：

其中，L₁为所述第一正则项，L₂所述第二正则项，μ_β和δ_β分别为所述待压缩模型中激活值的均值和方差，γ和β是仿射变换参数，λ是惩罚系数因子。

5.如权利要求1所述的模型压缩方法，其特征在于，所述对添加所述正则项后的所述待压缩模型的权重张量进行奇异值分解所采用的公式包括：

A＝UΣV^T

其中，U是一个m×m矩阵，Σ是一个m×n矩阵，Σ除了主对角线上元素都为零，Σ的主对角线上的每一个元素都为奇异值，V是一个n×n矩阵，U和V都是酉矩阵，满足UU^T＝I，VV^T＝I，A是所述权重张量。

6.如权利要求1所述的模型压缩方法，其特征在于，所述对所述权重参数矩阵进行权值量化，得到聚类量化矩阵，包括：

分别将所述权重参数矩阵中的权重参数与预存储的聚类对照表进行匹配，得到群集重心值，并根据所述群集重心值进行矩阵构建，得到所述聚类量化矩阵，所述聚类对照表中存储有不同权重参数与对应群集重心值之间的对应关系。

7.如权利要求1至6任一所述的模型压缩方法，其特征在于，所述根据输出的所述待压缩模型的权重张量进行参数聚类所采用的公式包括：

其中，w_min和w_max分别代表权重张量的最小值和最大值。