[发明专利]基于相似度保持的知识蒸馏的立场检测方法

权利要求书

1.基于相似度保持的知识蒸馏的立场检测方法，包括以下步骤：

获取待检测立场文本，利用Text-CNN网络模型进行立场检测；所述Text-CNN网络模型的确定过程包括以下步骤：

基于知识蒸馏的方式确定Text-CNN网络，知识蒸馏中的“Teacher”模型为BERT模型，“Student”模型为Text-CNN网络模型；

同时将实例数据集中实例对应的目标和文本输入到“Teacher”模型，使用BERT模型来获得soft label，并将其传递给Text-CNN；

其特征在于，所述知识蒸馏的方式中使用的损失函数如下：

L_KD＝γL_{Classic_KD}+(1-γ)L_{SP_KD}(G_T，G_S)

其中，L_{Classic_KD}为现有的知识蒸馏的方式中的蒸馏损失，L_{SP_KD}(G_T，G_S)为相似度保持损失函数，γ为超参数；

经典蒸馏损失如下：

L_{Classic_KD}＝α·H(y，σ(z^S))+(1-α)·T²H((σ(z^T/T)，σ(z^S/T))

其中，y为标签，H(.)为交叉熵损失函数，σ(.)为softmax函数，T为温度参数，y为表示地面真值类的单热向量，z^S和z^T分别为学生网络和教师网络的输出logits；α是加权超参数；

所述相似度保持损失函数的确定过程如下：

在知识蒸馏的过程中，给定一个输入的mini-batch，定义为“Teacher”模型在l层上产生的激活映射，为“Student”模型在l'层上产生的激活映射，其中b为batch大小，h为空间维数；

给定b个文本的输入的mini-batch，“Teacher”模型和“Student”模型模型各取mini-batch，一个计算b*h的激活映射，一个计算b*h’的激活映射，进行reshape后得到和

从两个模型中输出的激活映射中计算相似度矩阵：

对于“Teacher”模型：

其中，为b×b矩阵；为的L2范数，为应用L2规范化的结果；

对于“Student”模型：

相似度保持损失函数为：

其中||·||_F表示Frobenius范数。

2.根据权利要求1所述的基于相似度保持的知识蒸馏的立场检测方法，其特征在于，在进行知识蒸馏前，还包括构建实例数据集的过程。

3.根据权利要求2所述的基于相似度保持的知识蒸馏的立场检测方法，其特征在于，S1所述实例数据集表示有N个实例的数据集，每个实例x_i包含一个文本s_i，目标t_i和一个立场标签y_i；每条文本由单词序列组成，s_i＝{w_i0,w_i1,...,w_in},每个目标也由单词序列组成，t_i＝{t_i0,t_i1,...,t_im}，n和m分别是s_i、t_i中单词的数量。

4.根据权利要求1、2或3所述的基于相似度保持的知识蒸馏的立场检测方法，其特征在于，如果“Student”模型和“Teacher”模型具有相同的深度，“Student”模型的l'层与“Teacher”模型l层为相同depth的层；如果“Student”模型和“Teacher”模型具有不同的深度，“Student”模型的l'层是与“Teacher”模型位于相同区块末端的层，即两个模型池化层前的最后一层隐藏层。