[发明专利]命名实体识别模型的训练方法和命名实体识别的方法

权利要求书

1.一种命名实体识别模型的训练方法，其中，所述命名实体识别模型包括BERT-CRF模型，其特征在于，所述训练方法包括：

获取训练集，所述训练集包括多批元训练数据，每一批所述元训练数据包括训练支持集和训练查询集，其中，所述训练集为目标领域相近领域的标注样本；

用每一批所述元训练数据对命名实体识别模型进行训练，每轮训练包括：将所述训练查询集和所述训练支持集输入到命名实体识别模型中BERT-CRF模型的BERT层，获取所述训练查询集样本的发射分数和转移分数，将所述训练查询集样本的发射分数和转移分数输入到命名实体识别模型中BERT-CRF模型的CRF层，得到所述命名实体识别模型的损失函数，根据所述命名实体识别模型的损失函数调整所述命名实体识别模型的参数。

2.根据权利要求1所述的训练方法，其特征在于，所述每轮训练过程中，所述训练方法还包括：

获取测试集，所述测试集包括测试支持集和测试查询集，其中，所述测试集为目标领域的标注样本；

将所述测试支持集和所述测试查询集输入到所述命名实体识别模型中BERT-CRF模型的BERT层，获取所述测试查询集样本的发射分数和转移分数；

将所述测试查询集样本的发射分数和转移分数输入到命名实体识别模型中BERT-CRF模型的CRF层，获取所述测试查询集样本的测试类别标签；

根据所述测试查询集样本的测试类别标签和真实的类别标签，判断所述测试集的准确率，若所述测试集的准确率大于或等于预设值，则停止训练，若所述测试集的准确率小于预设值，则继续用下一批所述元训练数据对命名实体识别模型进行训练。

3.根据权利要求1所述的训练方法，其特征在于，将所述训练查询集和所述训练支持集输入到命名实体识别模型中BERT-CRF模型的BERT层，获取所述训练查询集样本的发射分数包括：

将所述训练查询集和所述训练支持集输入命名实体识别模型中BERT-CRF模型的BERT层，得到所述训练支持集样本的特征表示向量和所述训练查询集样本的特征表示向量；

获取预定义的锚类别特征表示向量，所述锚类别特征表示向量通过损失回传调节向量表示，其中，所述锚类别特征表示向量的数量大于或等于源领域和目标领域中类别数量的总和；

根据所述训练支持集样本的特征表示向量，获取所述训练支持集中每个类别标签的特征表示向量，对所述训练支持集中每个类别标签的特征表示向量和所述锚类别特征表示向量之间的差值向量计算奇异值分解，得到特征映射函数；

根据所述特征映射函数，计算所述训练查询集样本的特征表示向量与所述锚类别特征表示向量之间的相似度，得到所述训练查询集样本的发射分数。

4.根据权利要求3所述的训练方法，其特征在于，根据所述训练支持集样本的特征表示向量，获取所述训练支持集中每个类别标签的特征表示向量包括：

根据所述训练支持集样本中的每个字的类别标签，获取每个所述训练支持集样本中相应的字的特征表示向量，计算每个类别下全部字的特征表示向量的平均值，作为所述训练支持集中每个类别标签的特征表示向量。

5.根据权利要求1所述的训练方法，其特征在于，将所述训练查询集和所述训练支持集输入到命名实体识别模型中BERT-CRF模型的BERT层，获取所述训练查询集样本的转移分数包括：

根据所述训练查询集样本中的标签类别，获取标签类别转移矩阵，根据训练中的损失回传调节所述标签类别转移矩阵，根据所述标签类别转移矩阵得到所述训练查询集样本的转移分数。

6.根据权利要求2所述的训练方法，其特征在于，所述获取训练集和测试集之前，所述训练方法还包括：

根据所述目标领域，获取所述目标领域的相近领域的多个源领域的标注数据集，单个领域的标注数据集为一批元训练数据，使每一批所述元训练数据中包含的各类型标签的数量达到均衡，其中，多个源领域的标注数据集为训练集，目标领域的标注数据集为测试集。