[发明专利]基于压缩感知的神经网络模型压缩方法、设备及存储介质

说明书

本申请公开了一种基于压缩感知的神经网络模型压缩方法、设备及计算机可读存储介质，该方法通过将标准的压缩感知约束建模融入到常规的损失函数中，并基于此设计出第一损失函数，利用第一损失函数对原始权重参数进行训练，使得能够将压缩感知建模过程融入到网络训练过程中；通过基于变换域的基以及对原始权重参数训练所得的观测矩阵进行压缩感知重建，得到重建稀疏系数与固定稀疏系数，使得能够在一个变换域内充分挖掘训练权重参数的固有稀疏度；通过利用固有稀疏度对重建稀疏系数进行训练，使得将网络训练过程与网络压缩过程联合起来，尽可能地充分训练挖掘权重参数的稀疏性，最终实现对神经网络模型进行充分压缩的目的。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种基于压缩感知的神经网络模型压缩方法、设备及计算机可读存储介质。

背景技术

随着机器学习技术的快速发展，深度神经网络在计算机视觉、自然语言处理等众多领域取得重大突破，但是这些网络在应用过程中往往耗费需要巨大的计算开销和参数存储需求，导致其无法部署于一些资源有限的设备上。如何在保证网络性能的前提下，有效减少参数存储需求和计算复杂度成为目前急需研究的课题。目前已有的网络压缩模型方案主要通过是在权重参数的原始时域空域内进行一些处理，但是这种着眼于分析原始时空域的网络压缩方式，并未充分挖掘出权重参数的固有稀疏度，因此对网络的压缩程度也就不够彻底，从而导致了现有的网络压缩方式的压缩性能低下的问题。

发明内容

本申请的主要目的在于提供一种基于压缩感知的神经网络模型压缩方法，旨在解决现有的网络压缩方式的压缩性能低下的技术问题。

为实现上述目的，本申请提供一种基于压缩感知的神经网络模型压缩方法，所述基于压缩感知的神经网络模型压缩方法包括：

获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，以得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；

根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；

将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，并基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，以根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。

此外，为实现上述目的，本申请还提供一种基于压缩感知的神经网络模型压缩装置，所述基于压缩感知的神经网络模型压缩装置包括：

权重参数训练模块，用于获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，以得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；

压缩感知重建模块，用于根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；

稀疏系数训练模块，用于将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，并基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，以根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。

可选地，所述权重参数训练模块包括：