[发明专利]基于压缩感知的神经网络模型压缩方法、设备及存储介质

权利要求书

1.一种基于压缩感知的神经网络模型压缩方法，其中，所述基于压缩感知的神经网络模型压缩方法包括：

获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；

根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；以及，

将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，并根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。

2.如权利要求1所述的基于压缩感知的神经网络模型压缩方法，其中，所述获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，得到训练权重参数、以及与所述训练权重参数对应的观测矩阵的步骤包括：

获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；以及，

确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵。

3.如权利要求2所述的基于压缩感知的神经网络模型压缩方法，其中，所述获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率的步骤包括：

获取所述原始权重参数，将标准正交基作为所述变换域的基，并创建初始化参数；以及，

根据所述第一损失函数与所述标准正交基，在原始域内对所述原始权重参数进行随机梯度下降训练，在变换域内同步诱导训练所述初始化参数，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；

所述确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵的步骤包括：

确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前随机梯度下降训练过程，将所述初始化参数训练为所述原始权重参数在变换域内对应的原始稀疏系数，并得到所述训练权重参数与所述观测矩阵。

4.如权利要求3所述的基于压缩感知的神经网络模型压缩方法，其中，所述第一损失函数的表达式为：

∑l(f(x,W),y)+λ||W-ψs||₂+μ||s||₁，

其中，∑l(f(x,W),y)表示常规损失函数的表达式，λ和μ表示预设乘积因子，W表示所述原始权重参数，ψ表示所述变换域的基，s表示所述原始稀疏系数，下标2表示采用2-范数约束所述训练权重参数W与所述原始稀疏系数s之间的关系，下标1表示采用1-范数约束所述原始稀疏系数s。

5.如权利要求1所述的基于压缩感知的神经网络模型压缩方法，其中，所述根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度的步骤包括：

使用预设采样矩阵、所述变换域的基与所述观测矩阵，进行基于子空间追踪方式的压缩感知重建，得到所述重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度。