[发明专利]一种基于深度学习Transformer模型的梯形堆积核脉冲识别方法

权利要求书

1.一种基于深度学习Transformer模型的梯形堆积核脉冲识别方法，对梯形成形后的梯形堆积核脉冲进行识别是通过以下方法实现的：

①梯形堆积核脉冲V_o(mT_s)看成是由N个上升沿变缓的阶跃核脉冲叠加后经过梯形成形后得到的，按如下方法实现：

N个上升沿变缓的阶跃核脉冲的叠加信号V_e(kT_s)表示为：

将V_e(kT_s)作为如下梯形成形算法的输入信号而实现输出信号V_o(mT_s)：

公式(1)和(2)中,u(kT_s-T_i)表示阶跃函数；k＝1,2,3,…,K；K为V_e(kT_s)的离散点数；τ为上升沿变缓的阶跃脉冲的衰减时间常数；T_s为采样周期；A_i和T_i分别表示第i个上升沿变缓的阶跃核脉冲的幅值及发生时间；p为梯形脉冲与阶跃脉冲的幅值比例系数p＝Vo(mT_s)/Ve(mT_s)；n_a＝t_a/T_s，n_b＝(t_a+D)/T_s，n_c＝t_c/T_s，t_a为梯形脉冲的上升沿时间，D为梯形脉冲的平顶宽度时间，整个梯形成形时间t_c＝2t_a+D；m＝1,2,3,…,K+2+n_c；

②制作含有n个样本的数据集，数据集的矩阵表示形式如下：

表达式(3)中每一行代表一个样本的数据；每个样本的前K+2+n_c个数据为该样本对应的梯形堆积核脉冲的采样值，设该梯形堆积核脉冲按步骤①的成形方法进行成形前的输入信号V_e(kT_s)的参数为A_i(i＝1,2,…,N)、T_i(i＝1,2,…,N)和τ，并设梯形成形时的上升沿时间为t_a，平顶宽度时间为D，则将这些参数构成为该样本的参数集合θ，即θ＝[A₁,A₂,...,A_N,T₁,T₂,...,T_N,τ,t_a,D]；第i个样本对应的梯形堆积核脉冲V_o(mT_s)的采样值为[V_o(T_s)]_i,[V_o(2T_s)]_i,[V_o(3T_s)]_i,…,[V_o((K+2+n_c)T_s)]_i；第i个样本的参数集合则变为θ_i，参数集合θ随机产生，并将数据集按照一定比例划分为训练集(TrainSet)、测试集(TestSet)、验证集(ValidationSet)；

③将训练集用于Transformer模型的训练；在训练Transformer时的前向传播过程中，训练集中的各个样本对应的梯形堆积核脉冲V_o(mT_s)与位置编码叠加后作为Transformer模型的输入数据；整个Transformer模型按如下A、B、C、D环节实现：

A、注意力模型SA的计算

对于添加完位置编码的脉冲序列向量V_p(mT_s)，采用三个权值矩阵W^Q,W^K,W^V,分别将V_p(mT_S)转化为MHA模型所需的搜索向量Q(Query),关键词向量K(Keys),价值向量V(Values)；对于有H个注意力模型(SA)组成的MHA模型，其第h(h＝1,2...H)个注意力模型所对应的K、Q、V向量的子向量即为K_h,Q_h,V_h，因此，SA的数学模型为：

K_h＝V_p(mT_s)W^K   (4)

Q_h＝V_p(mT_s)W^Q   (5)

V_h＝V_p(mT_s)W^V   (6)

其中，d_k为K向量的维度；因此，对于有H个注意力机制的MHA，理解为其由H个SA模型拼接后经过线性变换而成，其数学模型为：

MHA(K,Q,V)＝Concat[SA(K_h,Q_h,V_h)]W^o   (8)

其中h＝1,2...H，为变换矩阵；

B、残差模型的计算

引入残差神经网络ResNet来解决网络退化的问题，其数学模型为：

ResNet(K,Q,V)＝relu[MHA(K,Q,V)]+MHA(K,Q,V)   (9)

C、全连接前馈神经网络模型的计算

对于B环节中归一化处理过后的脉冲序列数据，将其输入进全连接神经网络FCFFN(Fully Connected Feed-Forward Network)，其数学模型为：

FCFFN(K,Q,V)＝max[0,ResNet(K,Q,V)W₁+b₁]W₂+b₂  (10)

其中W₁，W₂，b₁，b₂为神经网络的权重与偏置；

D、Decoder中掩码多头注意力模型的计算

核脉冲序列数据在经过多个Encoder模型后传入Decoder模型中，Decoder相较于Encoder的MHA模型，Decoder采用掩码多头注意力模型MMHA(MaskedMulti-HeadAttention)，使用和QK^T同样维度的矩阵M作为mask矩阵，即：

接着在SA模型中用QK^T点乘M；MMHA模型表示为：

MMHA(K,Q,V)＝Concat[MSA(K_h,Q_h,V_h)]W^o(12)

其中：

接着，将输出注意力模型的数据经过环节B、C后前向传播结束；

④梯形堆积核脉冲反向传播训练：对于有q个样本的训练集，在每次前向传播完成后输出的预测脉冲参数集合θ_i'与输入Transformer模型训练的实际脉冲参数集合θ_i的交叉熵(CE)值作为损失函数的函数值Loss_CE，即损失函数的计算式为：

为了让损失值下降到一定程度后，再逐渐恢复模型的学习率，采用带有预热机制的可变学习率，该学习率LR的数学模型为：

其中d_m为位置向量的维度，S_n为训练的步数，W_s为预热参数，且设置该预热参数值为4000；

将Loss_CE与损失函数的梯度一起反馈给网络来更新权重，实现减少后续迭代中误差的目的；

⑤当一个具有识别脉冲参数集合θ能力的Transformer模型训练完成后，将训练完成的模型结构、权重、训练配置及优化器参数保存为HDF5(HierarchicalDataFormat5，HDF5)文件；然后将步骤①中欲进行参数识别的原始梯形堆积核脉冲的采样值作为Transformer模型的输入，进而由Transformer模型的输出得到所需提取的脉冲参数集合θ；

通过以上步骤①～⑤完成梯形堆积核脉冲的识别。