[发明专利]一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法、装置、系统及存储介质

权利要求书

1.一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法，其特征在于，包括依次执行以下步骤：

步骤一：每个周期内多个模型权值正常迭代更新；

步骤二：计算每一层滤波器的信息熵；

步骤三：相邻两个网络自适应的加权平均作为新的权值。

2.根据权利要求1所述的多模型自适应深度神经网络滤波器嫁接方法，其特征在于：

假设一共有K个并行训练的模型，每个模型有L层，则模型初始权重训练需要总的周期数T_max，每个周期内的迭代次数N_T；

在所述步骤1中，还包括执行以下步骤：

第1步骤：在每次迭代时，并行的更新每一个模型、每一层的参数

第2步骤：经过一个周期N_T次迭代后，对于模型K，将其前一个模型每一层的参数传递给它的每一层。

3.根据权利要求2所述的多模型自适应深度神经网络滤波器嫁接方法，其特征在于，在所述步骤2中，还包括执行以下步骤：

第3步骤：将模型每一层的权重，离散化为B位，p_b代表每一位出现的频率，则每一层的信息熵为：

第4步骤：使用如下公式比较模型K和模型K-1中无效滤波器数量的相对大小：

其中A和c是固定的超参数，代表第j个模型的第i层的信息熵。

4.根据权利要求3所述的多模型自适应深度神经网络滤波器嫁接方法，其特征在于，在所述步骤3中，还包括执行以下步骤：

第5步骤：对于任一模型K，使用如下公式自适应的加权平均他和模型K-1的每一层，作为模型K的新的参数：

在所述步骤3后还包括执行以下步骤：

步骤四：进入下一个周期，重新执行上面的步骤1至步骤3，直到模型最终收敛。

5.一种基于信息熵的多模型自适应深度神经网络滤波器嫁接装置，其特征在于，包括依次执行以下单元：

单元一：每个周期内多个模型权值正常迭代更新；

单元二：计算每一层滤波器的信息熵；

单元三：相邻两个网络自适应的加权平均作为新的权值。

6.根据权利要求5所述的多模型自适应深度神经网络滤波器嫁接装置，其特征在于：

假设一共有K个并行训练的模型，每个模型有L层，则模型初始权重训练需要总的周期数T_max，每个周期内的迭代次数N_T；

在所述单元一中，还包括执行以下单元：

第1单元：在每次迭代时，并行的更新每一个模型、每一层的参数

第2单元：经过一个周期N_T次迭代后，对于模型K，将其前一个模型每一层的参数传递给它的每一层。

7.根据权利要求6所述的多模型自适应深度神经网络滤波器嫁接装置，其特征在于，在所述单元二中，还包括执行以下单元：

第3单元：将模型每一层的权重，离散化为B位，p_b代表每一位出现的频率，则每一层的信息熵为：

第4单元：使用如下公式比较模型K和模型K-1中无效滤波器数量的相对大小：

其中A和c是固定的超参数，代表第j个模型的第i层的信息熵。

8.根据权利要求7所述的多模型自适应深度神经网络滤波器嫁接装置，其特征在于，在所述单元三中，还包括执行以下单元：

第5单元：对于任一模型K，使用如下公式自适应的加权平均他和模型K-1的每一层，作为模型K的新的参数：

在所述单元三后还包括执行以下单元：

单元四：进入下一个周期，重新执行上面的单元一至单元三，直到模型最终收敛。