[发明专利]一种用于功率放大器的基于Group Lasso的神经网络裁剪方法

权利要求书

1.一种用于功率放大器的基于Group Lasso的神经网络模型裁剪方法，其特征在于，具体步骤如下：

步骤一、构建原始神经网络；

原始神经网络包含偏置，神经元输出为：f(o₁a₁+o₂a₂+...+o_na_n+bias)；

其中o₁,o₂...o_n为上一层神经元输出，a₁,a₂...a_n为上一层神经元连接到当前层神经元的权重，f(·)为神经元激活函数；bias为代表第三层神经元的偏置；

原始神经网络的损失函数为

y_p为当前神经网络模型输出，y为实际功率放大器输出，其中N代表数据量即样本的输入和输出向量的对数；

所述的原始神经网络为实数型多层神经网络结构，即该神经网络的输入是由功率放大器原始当前输入与其时延输入的正交和同向分量组成的基函数构成，神经网络的输出是由功率放大器的当前输出的正交和同向分量构成，神经网络的输入、输出及其内部权重所有量都只包含实数；

步骤二、去掉原始神经网络中的偏置，改写原始神经网络激活函数，并将输出层以外的其余层中连接在同一个神经元的所有输出权重分为一组；

针对原始的神经网络，将训练参数去掉偏置，仅保留权重，得到新的神经元输出为：

f(o₁a₁+o₂a₂+...+o_na_n)

将神经网络隐藏层的激活函数设置为奇数次多项式函数：

f(x)＝p₁x-p₂x³+p₃x⁵-p₄x⁷+...

参数p自由调节；

步骤三、分组后对每组权重分别执行L₂范数约束；

针对某神经元，对应的权重组施加L₂范数约束如下：

其中w_i代表连接在第i个神经元的所有输出权重组成的向量，称为一个权重组，该神经元共有n个输出权重，w_i是该神经元的第i个输出权重，i＝1,2,3…,n；

步骤四、将原始神经网络结构中所有权重组的L₂范数之和作为Group Lasso罚项添加到原损失函数之后，得到新的损失函数Loss₂；

新的损失函数Loss₂公式如下：

λ代表控制神经网络的被简化程度的系数，λ越大，神经网络被简化程度越高；为所有权重组的L₂范数之和；

步骤五、通过基于后向传播BP算法对新的损失函数Loss₂进行极小化训练；

步骤六、在极小化训练完成的神经网络中，寻找收敛接近于0的权重组，并去掉这些权重组连接的神经元，得到裁剪后的基于Group Lasso的神经网络模型；

具体为：训练完成后，输出每一组的保存为一个变量，共k组，保存在命名为H₁…H_k的k个变量中；k对应除了输出层外的所有神经元个数；

寻找k个变量H₁…H_k中小于特定值的权重组，并裁剪掉这些权重组对应的神经元，得到简化后的神经网络；

步骤七、针对简化后的神经网络，采用BP算法对原始损失函数Loss₁进行训练，得到训练完成的简化后的神经网络，并使用该神经网络模型对功率放大器进行建模或预失真。

2.如权利要求1所述的一种用于功率放大器的基于Group Lasso的神经网络模型裁剪方法，其特征在于，所述的步骤五中定义原点处的导数为0，避免导数不存在的情况。

3.如权利要求1所述的一种用于功率放大器的基于Group Lasso的神经网络模型裁剪方法，其特征在于，所述的步骤六中，寻找收敛接近于0的权重组，是指寻找小于设定阈值的权重组为接近于0的权重组，裁剪掉接近于0的权重组对应的神经元；

阈值大小根据需求自行设定；阈值越大，去掉的神经元越多。