[发明专利]基于深度学习的半监督中文命名实体识别方法

摘要

本发明属于人工智能领域中的信息抽取技术，针对只有少量标注数据和大量未标注数据的特定领域的中文文本，提供一种基于深度学习的半监督中文命名实体识别方法。具体包括：第一步，构建基于字符的深度学习命名实体识别模型；第二步，设计打分器，利用有标注数据训练学习器和打分器；第三步，设计半监督学习框架，利用无标注数据实现半监督中文命名实体识别。本发明可以提高特定领域中文命名实体识别的准确率和召回率。

主权项

1.基于深度学习的半监督中文命名实体识别方法，其特征在于，包括以下步骤：第一步，构建基于字符的深度学习命名实体识别模型，方法是：利用特定领域的大量文本语料训练字向量，在BiLSTM‑CRF的深度学习框架上抽取出命名实体及其类型；第二步，设计打分器，利用有标注数据训练学习器和打分器；打分器是对学习器标注的结果进行二分类判断的机器学习模型，二分类即可信标签和噪音标签，其中可信标签是学习器打出的高置信度的标签；噪音标签是学习器打出的可能出错的标签；利用第一步深度学习命名实体识别模型中，BiLSTM学习到的每个字的最优特征经过全连接层的映射后的向量表示作为打分器输入，计算每个字的预测标签的置信值，统计所有的置信值找到一个阈值，大于阈值的作为可信标签，小于阈值的作为噪音标签；第三步，设计半监督学习框架，利用无标注数据实现半监督中文命名实体识别；利用无标注数据自动构造可信样本到训练集中，从学习器标注的结果中，利用打分器筛除掉含有命名实体噪音标签的子句，同时尽量保留连续的子句，生成新的训练数据。