[发明专利]PU强化学习的远程监督命名实体识别方法

说明书

本发明涉及PU强化学习的远程监督命名实体识别方法，属于自然语言处理与机器学习领域。主要为了解决中文命名实体识别任务的远程监督样本存在噪声标记、模型学习样本特征效率低下问题和训练过程缺乏有效监测机制。本发明首先利用BLSTM模型对文本提取单条样本序列特征和多标签评分信息；然后，基于PU强化学习，训练样本选择器，从标记语料和远程监督语料中筛选出正样本和负样本。再将负样本送入去噪还原器得到还原样本。再引入无偏、一致地估计任务损失的损失函数，使用正样本和还原样本训练中文命名实体识别模型；最后重复上述模型训练，直到筛选标记语料趋于稳定。在ICT语料、EC语料和NEWS进行了实验，结果表明本发明能达到较好的去噪效果。

技术领域

本发明涉及PU强化学习的远程监督命名实体识别方法，属于自然语言处理与机器学习领域。

背景技术

目前命名实体识别(NER)任务在特定应用领域(如ICT领域)，人力和时间的不足导致难以获得领域内大规模标记语料。目前基于小规模标记语料的中文命名实体识别方法主要使用自动化扩大标记语料规模方法。

自动化扩大标记语料规模的中文命名实体识别方法通过计算机自动标注无标记语料或转换其他标记语料，使领域内标记语料的规模增大。自动标注的语料提高了模型的性能，但是此类语料携带的错误难以解决。其中，远程监督使用预定义的实体词典作为额外知识源，自动标注语料时经常引入不完整标记和噪声标记，这些标记误差累积传播造成模型训练效率低。并且对样本的错误标记缺少一个有效的监测机制。筛除错误样本的等低效处理方法使得部分样本未能被模型学习，导致模型学习样本特征效率低下。

综上所述，现有的自动化扩大标记语料规模的中文命名实体识别方法在小规模标记语料上主要存在以下问题：(1)在标注语料时引入错误的标记(包括不完整标记和噪声标记)造成误差累积传播。对于错误样本的低效处理方法导致部分样本未能被模型学习，导致模型学习样本特征效率低下。(2)含噪声样本对模型训练的干扰缺乏有效的监测机制，造成训练迭代次数多、效果不好。

发明内容

本发明的目的是针对中文命名实体识别任务的远程监督样本存在不完整标记问题、噪声标记问题、模型学习样本特征效率低下问题和训练过程缺乏有效监测机制问题，提出了PU强化学习的远程监督命名实体识别方法。

本发明的设计原理为：首先，建立中文命名实体识别模型提取单条样本序列特征和多标签评分信息对命名实体进行分类；其次，获取人工标记语料和远程监督语料；然后，基于PU强化学习，训练样本选择器，从标记语料和远程监督语料中筛选出正样本和待还原负样本。再将待还原负样本送入去噪还原器进行重建还原得到还原样本。再引入能够无偏、一致地估计任务损失的损失函数，使用正样本和还原样本训练中文命名实体识别模型；最后，重复样本选择器、去噪还原器和中文命名实体识别模型的训练过程，直到筛选出的部分标记语料不变为止。

本发明的技术方案是通过如下步骤实现的：

步骤1，利用BLSTM对非结构化文本提取单条样本序列特征。

步骤2，利用条件随机场和sigmoid(或者softmax)进行单类(或者多类)命名实体标注和分类，获取多标签评分信息。

步骤3，利用专家规则和远程监督方法获取标记语料和远程监督语料。

步骤4，基于PU强化学习，训练样本选择器，从标记语料和远程监督语料中筛选出正样本和待还原负样本。

步骤5，利用去噪还原器对有噪声标记的负样本进行重建还原得到还原样本。

步骤6，引入能够无偏、一致地估计任务损失的损失函数，使用正样本和还原样本训练中文命名实体识别模型和PU强化学习模型。

步骤7，样本选择器根据任务损失更新参数后，接受中文命名实体识别模型处理后的标记语料和远程监督语料信息，然后决定再筛选标记语料。