[发明专利]命名实体识别模型的训练方法和命名实体识别的方法

说明书

本申请涉及一种命名实体识别模型的训练方法和命名实体识别的方法，通过获取训练集，其中，训练集为目标领域相近领域的标注样本；用训练集对命名实体识别模型进行训练，每轮训练包括：将训练查询集和训练支持集输入到命名实体识别模型的BERT层，获取训练查询集样本的发射分数和转移分数，将训练查询集样本的发射分数和转移分数输入到命名实体识别模型的CRF层，得到命名实体识别模型的损失，根据损失调整命名实体识别模型的参数，将源领域的标注样本作为训练集，利用现有的标注资源，将命名实体识别模型学习到的知识迁移到少量标注样本的场景下，解决了标注样本获取成本高，获得目标领域的足量标注样本前，无法开展工作，开发效率低的问题。

技术领域

本申请涉及自然语言处理技术领域，特别是涉及命名实体识别模型的训练方法和命名实体识别的方法。

背景技术

命名实体(named entity)，是指某领域内的具有特定意义或者代表性强的实体词，如新闻领域的事件名、地点名、人物名等，命名实体识别(Named Entity Recognition，简称NER)，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等，目前，主要是将命名实体识别转化为机器学习中的一个有监督学习的问题进行处理，通过建立统计学习模型或者深度学习模型并进行模型的训练，最后得到命名实体识别结果。其中，有监督学习的命名实体识别模型的训练依赖大规模的标注语料，通常标注语料是由人为主动标注获得的，标注语料获取成本高，且需要大量的标注语料才能训练得到可用的命名实体识别模型，在获得大量的标注语料前，无法开展工作，相当于将开发成本转嫁到语料的标注上，整体开发效率低。

目前针对相关技术中有监督学习的命名实体识别模型的训练依赖大规模的标注语料，导致标注成本高且开发效率低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种命名实体识别模型的训练方法和命名实体识别的方法，以至少解决相关技术中有监督学习的命名实体识别模型的训练依赖大规模的标注语料，导致标注成本高且开发效率低的问题。

第一方面，本申请实施例提供了一种命名实体识别模型的训练方法，所述命名实体识别模型包括BERT-CRF模型，所述训练方法包括：

获取训练集，所述训练集包括多批元训练数据，每一批所述元训练数据包括训练支持集和训练查询集，其中，所述训练集为目标领域相近领域的标注样本；

用每一批所述元训练数据对命名实体识别模型进行训练，每轮训练包括：将所述训练查询集和所述训练支持集输入到命名实体识别模型中BERT-CRF模型的BERT层，获取所述训练查询集样本的发射分数和转移分数，将所述训练查询集样本的发射分数和转移分数输入到命名实体识别模型中BERT-CRF模型的CRF层，得到所述命名实体识别模型的损失函数，根据所述命名实体识别模型的损失函数调整所述命名实体识别模型的参数。

在其中一些实施例中，所述每轮训练过程中，所述训练方法还包括：

获取测试集，所述测试集包括测试支持集和测试查询集，其中，所述测试集为目标领域的标注样本；

将所述测试支持集和所述测试查询集输入到所述命名实体识别模型中BERT-CRF模型的BERT层，获取所述测试查询集样本的发射分数和转移分数；

将所述测试查询集样本的发射分数和转移分数输入到命名实体识别模型中BERT-CRF模型的CRF层，获取所述测试查询集样本的测试类别标签；

根据所述测试查询集样本的测试类别标签和真实的类别标签，判断所述测试集的准确率，若所述测试集的准确率大于或等于预设值，则停止训练，若所述测试集的准确率小于预设值，则继续用下一批所述元训练数据对命名实体识别模型进行训练。

在其中一些实施例中，将所述训练查询集和所述训练支持集输入到命名实体识别模型中BERT-CRF模型的BERT层，获取所述训练查询集样本的发射分数包括：