[发明专利]一种基于张量串分解的多层感知机非线性压缩方法

说明书

本发明公开了一种基于张量串分解的多层感知机非线性压缩方法。首先利用张量串分解，将多层感知机中的全连接层权重矩阵转化为张量串分解形式；然后在张量串中的每个因子张量之间插入非线性函数，使整个多层感知机转化为轻量化的更深层次的新多层感知机；最后通过少量次数的训练对新的多层感知机进行微调。本发明能够在利用张量串分解对多层感知机进行压缩的基础上，提高整个多层感知机的非线性表达能力，既节省了多层感知机的存储空间，还在一定程度上提升了多层感知机的识别准确率。

技术领域

本发明属于机器学习中的深度学习领域，具体涉及一种基于张量串分解的多层感知机(全连接神经网络)非线性压缩方法。

背景技术

近年来，以多层感知机(Multilayer Perceptron,MLP)为基本模型的深度神经网络在图像识别、语音识别、目标检测、语义分割、数据生成等多个实际应用领域取得了广泛的成功。但深度神经网络的表达能力越强，往往意味着网络模型的规模越大，其空间复杂度就越高，所占存储空间也就越大。这种情况无疑限制了高性能的深度神经网络在存储受限的嵌入式设备中的部署应用，如手机、车载系统等。

Denil等人在2013年的文献《Predicting parameters in deep learning》中证实了深度神经网络结构事实上是冗余的，即可以通过一些权重压缩手段来减小深度神经网络的规模，同时不造成明显的精度损失。因此，人们提出了很多方法来对深度神经网络进行压缩。

其中，张量分解是使用较广泛的压缩方法之一，具体是将多层感知机的每层权重看作一个高阶张量，然后借助成熟的张量分解数学方法将其分解为多个小张量乘积的形式，从而使多层感知机的权重参数的数量减少。在众多张量分解方法之中，张量串(TensorTrain,TT)分解凭借其精简的表达形式和较高的压缩率成为应用最广泛的张量分解神经网络压缩方法。自Novikov等人在2015年的文献《Tensorizing neural networks》开始，基于张量串的深度神经网络压缩方法已经在卷积神经网络和循环神经网络中得到了应用，取得了不错的压缩效果。

关于现有基于张量分解的神经网络压缩报道，无论具体的张量分解方法是哪一种，高压缩率带来的模型准确率降低都是一个不易解决的难题。一般来说，只有网络规模极大的循环神经网络才有可能在一定程度上避免张量分解带来的精度损失。对于结构紧凑的卷积神经网络和规模有限的多层感知机，张量分解往往一定会带来精度损失，而盲目扩大卷积神经网络或多层感知机的规模又会带来训练收敛困难、整体准确率下降等问题。

发明内容

为克服上述现有技术的不足，本发明提供一种基于张量串分解的多层感知机非线性压缩方法，将多层感知机中的全连接层权重矩阵转化为张量串分解形式，然后在张量串中的每个因子张量之间插入非线性函数，使整个原多层感知机转化为轻量化的更深层次的新多层感知机，既节省了多层感知机的存储空间，还在一定程度上提升了多层感知机的识别准确率。

为达到上述目的，本发明采用如下技术方案：

一种基于张量串分解的多层感知机非线性压缩方法，包括以下步骤：

步骤1：对已训练好的多层感知机读取其某一层全连接权重矩阵得该层输入向量为M维，输出向量为N维，即y＝f(xW)，其中f(·)为该层非线性激活函数；

步骤2：将M和N因数分解为d个整数的乘积，即和将W重构为d阶张量后，利用张量串分解方法得每个因子张量r_i为张量秩，有且仅有r₀＝r_d＝1；

步骤3：定义输入向量x与张量串分解后的权重相乘得到输出y的前向计算方法使x通过依次与每个相乘，即

步骤4：在每一个计算后插入非线性激活函数g(·)，使变为