[发明专利]一种基于伪样本重放的增量式命名实体识别方法

权利要求书

1.一种增量式命名实体识别方法，其特征在于，包括学习阶段和复习阶段，在学习阶段，给定一个只包含新实体类型的训练集，将旧模型作为教师，训练新的学生模型时，在常规的交叉熵损失上增加知识蒸馏损失；在复习阶段，生成关于旧类型的伪样本作为复习材料，通过在复习材料上进一步蒸馏，来温故旧知识，并将其和新知识整合起来；具体步骤包括：

1)学习阶段中，在第k步骤，得到当前数据集D_k和上一步骤得到的M_k-1，G_1：k-1模型；

2)将M_k-1视作教师、视作学生，并通过知识蒸馏将M_k-1中旧实体类型的知识蒸馏到中；

3)复习阶段中，对于每个旧任务i∈(1，2，...，k-1}，生成包含了旧类型E_i的无标注文本

4)将无标注文本分别喂入M_k-1和第一阶段得到的学生得到所有见过的实体类型上的输出概率分布p(x_i；θ_k-1，T)和

5)取M_k-1的输出分布中的前维，的输出分布中的第至第维，将他们拼接得到

6)复习阶段后得到一个模型M_k，它能够识别所有见过的实体类型计算M_k的输出分布与之间的KL散度作为蒸馏损失函数：

7)数据集D_k中的每个词分为两类：一类是带着实体标签，另一类是不带着实体标签；对于带着实体标签的词，计算的输出与实体标签的交叉熵损失函数：

对于带着O标签的词，计算的输出分布与M_k-1的输出分布的KL散度：

其中，分别表示M_k-1和的输出分布；T表示蒸馏中的温度，用来得到更加平滑的概率分布；

8)上述三个损失函数的加权和得到复习阶段的总损失函数：

2.如权利要求1所述的增量式命名实体识别方法，其特征在于，模型M_k由特征抽取器和分类层组成，特征抽取器采用了预训练语言模型BERT-base，分类层采用了带softmax的线性层。

3.如权利要求2所述的增量式命名实体识别方法，其特征在于，给定一个长度为L的词序列[x₁，x₂，...，x_L]以及每个词的标签[y₁，y₂，...，y_L]，首先通过特征抽取器得到每个词的隐向量[h₁，h₂，...，h_L]，然后通过线性层将隐向量映射到标签空间[s₁，s₂，...，s_L]，再通过softmax得到每个词在所有类型上的概率[p₁，p₂，...，p_L]：

z_i＝Wh_i+b

其中，d是预训练语言模型的隐向量大小，d为768；m是标签集合的大小，取决于所采用的标签体系。

4.如权利要求1所述的增量式命名实体识别方法，其特征在于，步骤3)中用于生成无标注文本的生成器(G)是由嵌入层、LSTM层、分类器构成的语言模型。

5.如权利要求4所述的增量式命名实体识别方法，其特征在于，给定一个长度为L的词序列[x₁，x₂，...，x_L]，首先通过嵌入层得到每个词的词向量，然后通过LSTM层得到融入了上下文信息的隐向量[h₁，h₂，...，h_L]，最后由带softmax的线性层得到下一个词的概率：

z_i＝Wh_i+b

其中，V是词典的大小，由数据集决定；index(x_i)表示x_i在词典中的编号。

6.如权利要求4所述的增量式命名实体识别方法，其特征在于，生成器的训练目标是语言建模损失函数，它最小化预测下一个词的负对数似然损失：