[发明专利]一种基于注意力特征信息的BERT模型融合方法

权利要求书

1.一种基于注意力特征信息的BERT模型融合方法，其特征在于，该方法的具体步骤如下：

(1)首先，对于给定的多个原模型，构建出每个模型对于输入文本的隐藏表示信息，用来表征对应模型对于输入文本的编码信息；

(2)然后，利用每个原模型的隐藏表示信息与输入文本的特征信息的差异，来计算每个模型的权重信息；

(3)之后，利用每个原模型的权重信息，对模型内部的注意力特征信息进行加权融合，生成融合后的注意力特征信息；

(4)最后，利用融合后的注意力特征信息，来完成新模型的训练，生成表现效果更好和泛化能力更强的新模型；

步骤(1)给定的原模型为教师模型，用T_i表示；步骤(4)生成的新模型为学生模型，用S表示；H_x代表教师模型的隐藏层表示信息，A_x代表教师模型的注意力特征信息，P_x代表教师模型的响应知识信息；

所述步骤(2)中，利用教师模型隐式表示因子F_T和学生模型输出的隐藏层特征信息H_S，来计算每个教师模型的权重信息；其输入是每个教师模型隐式表示因子F_T和学生模型最后一层Transformer输出的隐藏层特征H_S；其输出是每个教师模型的权重信息W_T；权重计算过程如下：首先通过计算教师模型隐式表示因子F_T与学生模型隐藏层表示特征H_S之间的均方差函数值，来获取到每个教师模型对应的重要程度，其中均方差函数值越大，则对应的教师模型权重越小；之后再利用softmax函数对每个教师模型的重要程度进行归一化，得到最终每个教师模型对应的权重信息W_T；

所述步骤(3)中，利用步骤(2)获得的每个教师模型对应的权重信息W_T来对教师模型的注意力特征信息进行融合，同时也对隐藏层特征信息和响应知识信息进行了融合；其输入是教师模型最后一层Transformer输出的注意力特征A_T和隐藏层特征H_T，教师模型输出的响应知识P_T，以及动态权重计算所得到的教师模型的权重信息W_T；其输出是融合后的注意力特征A_M，融合后的隐藏层特征H_M，以及融合后的响应知识P_M；注意力融合的计算过程，主要是利用每个教师模型的权重信息，对不同教师的注意力特征进行加权平均；而隐藏层特征融合和响应知识融合的计算过程同样是利用加权平均的方法来进行融合；

所述步骤(4)中，利用融合后的教师模型知识来对学生模型进行训练和调整；其输入是融合后的教师模型知识(A_M,H_M,P_M)和学生模型的输出(A_S,H_S,P_S)，其输出是学生模型参数θ和教师模型隐式表示因子F_T；学生模型训练，主要是针对三类不同的知识计算损失函数，并根据最终的损失函数，来对学生模型参数和教师模型隐式表示因子进行调整；三类损失函数分别是注意力特征损失函数Loss_A，隐藏层特征损失函数Loss_H和响应知识损失函数Loss_P，其中注意力特征的损失函数采用KL散度来计算，隐藏层特征的损失函数采用均方差函数计算，响应知识的损失函数采用交叉熵来计算；之后利用这三类损失函数来计算最终的损失函数Loss，最终损失函数主要采用加权和的方式来计算；最后利用损失函数结果，来更新学生模型参数θ和隐式表示因子F_T。