[发明专利]一种基于迹范数约束的神经网络的加速与压缩方法

摘要

本发明公开了一种基于迹范数约束的神经网络的加速与压缩方法，其整体步骤如下进行神经网络前向传播，并判断是否收敛；分离任务相关的损失函数和迹范数约束，并进行基于损失函数的神经网络反向传播；对反向传播更新后的每一层的参数矩阵做迹范数约束；将迹范数约束后的参数矩阵更新到网络中；当神经网络的训练过程收敛后，对最终的参数矩阵进行奇异值分解，并对神经网络进行压缩重构。本发明通过在模型训练阶段提高模型参数的低秩特性，取得了良好的加速和压缩效果，具有适用性广泛、精度不受影响的优点，可以满足实际应用中对降低存储空间和提高处理速度的需求。

主权项

一种基于迹范数约束的神经网络的加速与压缩方法，其特征在于：所述方法的整体步骤如下：Ⅰ、首先在神经网络的训练过程中进行神经网络的前向传播，输入数据逐层经过网络的各层并和各层的参数进行运算直到获得最后一层的输出值，通过判断网络输出值与实际值之间的误差是否小于指定阈值，来判断神经网络的训练是否收敛；Ⅱ、通过邻近点梯度下降法分离端到端训练时的迹范数约束和任务相关的损失函数，先进行原任务相关的损失函数的神经网络反向传播，通过反向传播来计算各层参数矩阵的梯度，通过梯度下降法计算更新后的参数；Ⅲ、对反向传播更新后的每一层的参数矩阵做迹范数约束；Ⅳ、将迹范数约束后的参数矩阵更新到网络中；Ⅴ、对最终的每一层的参数矩阵进行奇异值分解，保留较大的部分奇异值和对应的特征向量，将原参数矩阵拆分成2个较小的参数矩阵相乘，利用每一层得到的2个较小的参数矩阵对神经网络进行压缩重构。