[发明专利]一种基于深度学习的增量调制识别模型生成方法

权利要求书

1.一种基于深度学习的增量调制识别模型生成方法，该模型包括0阶段及顺序排列的后续阶段,其中0阶段包含数据处理模块和原始网络训练模块；之后的每个阶段包含数据处理模块和增量学习模块；其中各个阶段中的数据处理模块与原始网络训练模块或增量学习模块相连接，该方法的具体步骤如下：

1)数据处理；

(1)数据处理模块将收集到的调制信号样本映射成星座图，得到样本集合其中x_j表示在第i阶段的样本数据，S_i表示在第i阶段的样本总数；

(2)根据样本集合中每一个样本x_j的种类，添加标签y_j，生成第i阶段数据集表示x_j是n维向量，表示y_j是M_i维向量，其中n表示样本的维度，M_i表示D_i中样本的种类数目，设D_i,m是D_i中第m类数据的集合，

2)原始网络训练：

①原始网络训练模块接收来自数据处理模块的数据，先初始化0阶段的内存数据集P₀，在0阶段中内存数据集中没有样本，令其为空集即

②根据0阶段数据集D₀包含的种类数目M₀初始化识别模型；使用神经网络作为分类模型，设第i阶段的模型为其中，L_i是阶段i神经网络的层数，θ_i表示阶段i神经网络的参数集合，表示阶段i神经网络第0层到第L_i层的映射关系，即输入到输出的映射关系，N_l表示第l层的输出维度，表示维度为N₀的向量到维度为的向量映射，符号表示向量维度的转换；表示阶段i神经网络的输入，其中，符号∈表示集合中的属于关系，r_i,0经过神经网络模型φ_i可得到阶段i神经网络的输出因此，0阶段的初始模型为

③将D₀中的样本输入0阶段的初始模型φ_0,0，φ_0,0输出为可得到0阶段的损失为：

④使用SGD算法训练模型，最小化0阶段的损失L₀，生成训练好的调制识别模型φ₀；

3)增量学习；

a)增量学习模块接收来自数据处理模块输入的数据集D_i，上一阶段的输入数据集D_i-1和上一阶段输出的识别模型φ_i-1来生成本阶段的识别模型φ_i，根据输入的φ_i-1和D_i-1，对阶段i-1的内存数据集P_i-1进行更新，输出更新后的内存数据集P_i，更新的具体步骤如下：

(1)从φ_i-1中分离出神经网络的特征提取部分，将包含L_i-1层的神经网络中的前L_i-1-2层看作特征提取部器，将神经网络的最后一个全连接层即第L_i-1-1层及softmax层即第L_i-1层用作分类，特征提取器中只具有φ_i-1中前L_i-2层的参数阶段i的特征提取器

(2)将数据集D_i-1中的每类数据输入得到D_i-1中每一类数据的均值向量，其中，第m类数据的均值向量为：最终求出均值向量集合

(3)从D_i-1中的每类数据选取k个与均值向量μ_i-1,m最接近的样本，将其组合得到代表性样本集合其中，x_j,m表示D_i-1中第m类数据的第j个样本；

(4)将代表性样本集合加入内存数据集P_i-1中得到内存数据集P_i，设λ＝M₀+...+M_i-1表示从阶段0到阶段i-1到达的总的数据种类，P_i中包含的样本总数为：S_P,i＝λ×k；

b)将P_i中的样本和D_i中的样本混合，得到混合数据集ε_i；

c)根据输入的D_i包含的种类数目M_i，修改φ_i-1最后一层的输出节点个数令其为λ+M_i，得到阶段i的初始模型φ_i,0；

d)修改φ_i,0，在φ_i,0的最后一层前插入一层做线性变换操作，变换系数取决于温度参数T，修改后的模型为表示第i阶段在温度参数T下所使用的神经网络，具有L_i+1层，最后一层的输出用表示；

e)将ε_i中的样本送到模型中，并将输出值作为蒸馏标签加入ε_i，生成新的混合数据集其中包含从阶段0到阶段i-1到达的每类数据中的k个样本和D_i中的所有样本；

f)样本x_j输入模型中能得到模型的最后一层输出和logits输出将logits输出送入softmax函数做归一化处理，可得到对样本x_j的预测概率y_pred,j，因此，将ε′_i中所有样本的集合输入模型中，可得到神经网络的最后一层输出和对的预测概率集合

g)计算阶段i的损失：

L_i(θ_i)＝αL_hard+βL_soft (2)

其中，是交叉熵损失，是蒸馏损失，α和β分别表示交叉熵损失和蒸馏损失的权重，L_i(θ_i)称为交叉-蒸馏损失；

h)使用SGD算法最小化公式(2)以训练模型，得到阶段i在温度参数T下训练好的神经网络删除中的倒数第二层，生成调制识别模型φ_i。