[发明专利]一种BERT-BiLSTM-CRF命名实体检测模型及装置

说明书

本发明公开的属于命名实体识别技术领域，具体为一种BERT‑BiLSTM‑CRF命名实体检测模型，其包括：IDCNN‑CRF命名实体识别模型和BERT‑BiLSTM‑CRF命名实体识别模型，IDCNN‑CRF命名实体识别模型架构如下：Embdding层为词向量层，用于将输入数据处理成词向量再送入模型，采用分布式向量表示Word2Vec；IDCNN层，用于将embedding层处理好的字向量或者词向量送入到IDCNN层，经过膨胀卷积神经网络的膨胀卷积操作，对输入的字向量重新计算，得到新的向量表示。该BERT‑BiLSTM‑CRF命名实体检测模型及装置，以BiLSTM‑CRF模型为基准，使用北京大学标注好的《人民日报》数据集和微软亚研院MSRA命名实体识别数据集，构建了IDCNN‑CRF模型以及BERT‑BiLSTM‑CRF模型，提高了命名实体识别的准确度以及运行效率，缩短了模型训练时间。

技术领域

本发明涉及命名实体识别技术领域，具体为一种BERT-BiLSTM-CRF命名实体检测模型及装置。

背景技术

目前命名实体识别任务主要是捕获输入文本中的词或者短语，并且进行定性的归类。目前已有一些用于命名实体识别任务的方法被提出，通常可以将其分为三个类别。第一类是按照规则的方法对文本中的实体进行命名识别，第二类是基于传统的统计机器学习方法，用特征工程进行命名实体识别，第三类是基于深度学习的方法，自动提取文本信息的特征进行命名实体识别。

对于中文命名实体识别任务，基于规则的方法严重依赖规则的构造，可移植性差，维护成本高；基于统计学习的方法需要在特征工程上下功夫，耗费大量的人工成本；基于深度学习的命名实体识别自动提取特征，省下人工设计特征的过程，并且随着计算机硬件的提升，深度学习模型跑出的效果越好，因此，基于深度学习的命名实体识别具有重要的研究价值。

随着数据的爆发式增长，如何处理海量数据，抽取有效信息成了当下最为重要的问题，而命名实体识别技术可以从海量文本数据中自动提取关键实体信息。针对此问题，本发明实现一种BERT-BiLSTM-CRF命名实体检测模型及装置。

发明内容

本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：

一种BERT-BiLSTM-CRF命名实体检测模型，其包括IDCNN-CRF命名实体识别模型和BERT-BiLSTM-CRF命名实体识别模型：

IDCNN-CRF命名实体识别模型架构如下：

Embdding层为词向量层，用于将输入数据处理成词向量再送入模型，采用分布式向量表示Word2Vec；

IDCNN层，用于将embedding层处理好的字向量或者词向量送入到IDCNN层，经过膨胀卷积神经网络的膨胀卷积操作，对输入的字向量重新计算，得到新的向量表示；

投影层，用于从IDCNN层神经网络计算出的向量表示进行线性转换，转换后的维度即为标签的维度，与标签的维度保持一致，再进过Softmax归一化处理，得到概率p，假设映射后的向量表示维度为m维，则m维字向量的概率表示组合得到向量，每一维向量可以看作每一类标签的概率，取概率最大的种类得到分类结果，即可完成命名实体识别任务；

CRF层，用于通过转移矩阵筛选出最优的结果反馈给用户；

BERT-BiLSTM-CRF命名实体识别模型架构如下：

BERT层，BERT的输入是由单字组成的句子，BERT对文本序列处理后获得每个字的向量表示之后，作为下一层BiLSTM的输入；