[发明专利]一种基于张量串分解的多层感知机非线性压缩方法

权利要求书

1.一种基于张量串分解的多层感知机非线性压缩方法，其特征在于，包括以下步骤：

步骤1：对已训练好的多层感知机读取其某一层全连接权重矩阵得该层输入向量为M维，输出向量为N维，即y＝f(xW)，其中f(·)为该层非线性激活函数；

步骤2：将M和N因数分解为d个整数的乘积，即和将W重构为d阶张量后，利用张量串分解方法得每个因子张量r_i为张量秩，有且仅有r₀＝r_d＝1；

步骤3：定义输入向量x与张量串分解后的权重相乘得到输出y的前向计算方法使x通过依次与每个相乘，即

步骤4：在每一个计算后插入非线性激活函数g(·)，使变为

当步骤4完成后，如果多层感知机中仍有尚未压缩的全连接层，则跳转至步骤1对下一个全连接层进行非线性压缩；如果多层感知机中所有待压缩全连接层皆已压缩，进入步骤5；

步骤5：多层感知机的所有全连接层完成非线性压缩，利用误差反向传播算法对新的多层感知机再进行少量次数的训练以将其微调至最佳性能。

2.根据权利要求1所述的一种基于张量串分解的多层感知机非线性压缩方法，其特征在于，所述步骤2对权重矩阵的维数值M和N以相同的因子数量d进行因数分解。

3.根据权利要求1所述的一种基于张量串分解的多层感知机非线性压缩方法，其特征在于，所述步骤3对输入向量x与张量串分解后的权重相乘得到输出y的前向计算方法定义为如下一系列计算方法的复合：

首先将x重构为矩阵重构为矩阵计算即然后，将X₁重构为重构为矩阵计算即依此类推，最后计算并重构之为即

4.根据权利要求1所述的一种基于张量串分解的多层感知机非线性压缩方法，其特征在于，所述步骤4中对每一个计算后插入非线性激活函数g(·)，所得新输出y′与原输出y不同；

具体的，首先将x重构为矩阵重构为矩阵计算即接着将X₁通过非线性激活函数g(·)，进而得到然后，将X″₁重构为重构为矩阵计算即接着将X₂通过非线性激活函数g(·)，进而得到依此类推，使变为