[发明专利]基于BERT-FLAT的中文命名实体识别方法

说明书

本发明涉及自然语言处理领域，具体涉及一种基于BERT‑FLAT的中文命名实体识别方法，包括：将任意中文句子输入训练好的实体识别模型中，输出训练集中每个句子的词性标注结果，得到命名实体识别结果。本发明基于BERT‑Flat‑Lattice‑CRF的实体识别模型，BERT预训练语言模型和Flat‑Lattice结构，从大规模语料库中学习的BERT预训练语言模型可以通过上下文计算单词的向量表征，可以表征单词的多义性，增强句子的语义表征；Flat‑Lattice结构引入了词汇信息，充分地挖掘出文本中潜在的隐藏信息，达到词汇增强效果，显著地提升了中文命名实体识别的准确率。

技术领域

本发明涉及自然语言处理领域，具体涉及一种基于BERT-FLAT的中文命名实体识别方法。

背景技术

命名实体识别(NER)技术可用于识别文本中的特定实体信息，如人名、地名、组织名称等，它广泛应用于信息抽取、信息检索、智能问答、机器翻译等领域。通常，命名实体识别任务被形式化为序列标记任务，并且通过预测每个单词或每个单词的标记来联合预测实体边界和实体类型。

随着神经网络的迅速发展，不依赖人工特征的端到端方案逐渐成为NER技术的主流。首先是基于单向长短期记忆(LSTM)神经网络的LSTM-CRF模型。基于LSTM优秀的序列建模功能，LSTM-CRF成为命名实体识别的基础框架之一，很多方法是以LSTM-CRF为主体框架，整合各种相关功能。例如，加入手工拼写特征、使用文字CNN提取文字特征、或使用字符级LSTM。还有基于CNN的命名实体识别方案，如CNN-CRF结构，或者基于CNN-CRF，使用字符CNN提出的增强模型。还有利用空洞卷积网络(IDCNN-CRF)的命名实体识别方案，它可以在提取序列信息的同时加快训练速度。也有以BiLSTM-CRF模型为基础，利用注意力机制获取全文范围内的单词上下文或者采用GRU计算单元，提出双向GRU为基础的命名实体识别方法。

一方面，传统方法普遍存在的问题是不能代表词的多义性。例如，在“这两批货物都是打折出售的，严重折本，他再也受不了这种折腾”这句话中，三个“折”字表达的意思不同，但在以上方法字的向量表示法中，这三个字的向量是完全一样的，这与客观事实不符。另一方面，通过字级别和词级别统计方法的比较可以发现，基于字符的命名实体识别方法通常优于基于词的命名实体方法。但基于字符的命名实体识别方法没有利用词汇信息，而词汇边界对于实体边界通常起着至关重要的作用。

发明内容

为了解决上述问题，本发明提供一种基于BERT-FLAT的中文命名实体识别方法。

一种基于BERT-FLAT的中文命名实体识别方法，包括以下步骤：将任意中文句子输入训练好的实体识别模型中，模型输出训练集中每个句子的词性标注结果，得到命名实体识别结果，其中，实体识别模型先训练后使用，其训练过程如下：

S1、数据集预处理，得到预处理后的数据集，将预处理后的数据集按照2:1:1分为训练集、验证集和测试集；

S2、将训练集输入到BERT模型中进行处理，得到输出序列向量；

S3、将BERT层的输出作为字符嵌入Character embedding输入到Flat-Lattice模型进行编码，得到编码序列；

S4、将Flat-Lattice层的输出结果输入到CRF模型进行分词序列预测，得到每个单词的预测标签，对预测标签进行筛选，得到最优预测标签序列和初始实体识别模型；采用正向传播和反向传播修改、更新初始实体识别模型各层神经元的参数值以及连接权重，通过验证集确定参数的最佳值，最小化最优预测标签序列与真实标签序列之间的误差，得到训练好的实体识别模型；

S5、得到训练好的实体识别模型后，使用测试集对训练好的实体识别模型进行测试，评价实体识别的效果。

进一步的，将训练集输入到BERT模型中进行处理包括：