[发明专利]一种用于功率放大器的基于Group Lasso的神经网络裁剪方法

摘要

本发明公开了一种用于功率放大器的基于Group Lasso的神经网络裁剪方法，属于通信技术领域。首先对原始神经网络结构，将除了输出层以外的其余层中连接在同一个神经元的所有输出权重分为一组；分组后对每组权重分别执行L2范数约束；然后将原始神经网络结构中所有组的权重的L2范数之和作为Group Lasso罚项添加到原损失函数Loss1之后，得到新的损失函数Loss2；通过BP算法对Loss2进行极小化训练，寻找收敛接近于0的权重组，并去掉这些权重组连接的神经元，得到简化后的神经网络，采用BP算法对原始损失函数Loss1进行训练，得到训练完成的简化后的神经网络模型，在利用该模型对功率放大器进行建模或预失真。本发明可抑制训练过程中的过拟合，提高预失真效果，降低计算量，便于工程应用。

主权项

1.一种用于功率放大器的基于Group Lasso的神经网络模型裁剪方法，其特征在于，具体步骤如下：步骤一、构建原始神经网络；原始神经网络包含偏置，神经元输出为：f(o₁a₁+o₂a₂+...+o_na_n+bias)；其中o₁,o₂...o_n为上一层神经元输出，a₁,a₂...a_n为上一层神经元连接到当前层神经元的权重，f(·)为神经元激活函数；原始神经网络的损失函数为y_p为当前神经网络模型输出，y为实际功率放大器输出，其中N代表数据量即样本的输入和输出向量的对数；步骤二、去掉原始神经网络中的偏置，改写原始神经网络激活函数，并将输出层以外的其余层中连接在同一个神经元的所有输出权重分为一组；针对原始的神经网络，将训练参数去掉偏置，仅保留权重，得到新的神经元输出为：f(o₁a₁+o₂a₂+...+o_na_n)将神经网络隐藏层的激活函数设置为奇数次多项式函数：f(x)＝p₁x‑p₂x³+p₃x⁵‑p₄x⁷+...参数p自由调节；步骤三、分组后对每组权重分别执行L₂范数约束；针对某神经元，对应的权重组施加L₂范数约束如下：其中w_i代表连接在第i个神经元的所有输出权重组成的向量，称为一个权重组，该神经元共有n个输出权重，w_i是该神经元的第i个输出权重，i＝1,2,3…,n；步骤四、将原始神经网络结构中所有权重组的L₂范数之和作为Group Lasso罚项添加到原损失函数之后，得到新的损失函数Loss₂；新的损失函数Loss₂公式如下：λ代表控制神经网络的被简化程度的系数，λ越大，神经网络被简化程度越高；为所有权重组的L₂范数之和；步骤五、通过基于后向传播BP算法对新的损失函数Loss₂进行极小化训练；步骤六、在极小化训练完成的神经网络中，寻找收敛几乎接近于0的权重组，并去掉这些权重组连接的神经元，得到裁剪后的基于Group Lasso的神经网络模型；具体为：训练完成后，输出每一组的保存为一个变量，共k组，保存在命名为H₁…H_k的k个变量中；k对应除了输出层外的所有神经元个数；寻找k个变量H₁…H_k中小于特定值的权重组，并裁剪掉这些权重组对应的神经元，得到简化后的神经网络；步骤七、针对简化后的神经网络，采用BP算法对原始损失函数Loss₁进行训练，得到训练完成的简化后的神经网络，并使用该神经网络模型对功率放大器进行建模或预失真。