[发明专利]一种基于领域适应的少样本实体识别方法

说明书

本发明公开了一种基于领域适应的少样本实体识别方法，该方法首先选取支点特征，将源领域和目标领域出现频次均最高的词组作为支点特征词，将支点特征实例化，形成支点特征集。然后建立训练数据集，训练支点特征分类器，全部支点特征构成系数矩阵，表示非支点特征词与支点特征词的相关性。在源领域上训练实体识别模型，最后在目标领域上进行实体识别，用训练好的模型在目标领域上进行预测，对目标领域中每个非支点特征词，用最相关并且同时满足相关性大于一定阈值的源领域中的非支点特征词替换。本发明利用领域间共同的支点特征词得到领域间不同的非支点特征之间的对应关系，从而达到领域间特征词映射的目的。

技术领域

本发明涉及实体识别领域，尤其涉及一种基于领域适应的少样本实体识别方法。

背景技术

在文本信息抽取的应用场景中，场景多样、细化，缺少标注样本，标注样本获取成本高是工业应用上面临的现状，目前的技术针对少量标注样本的场景还没有成熟的方案，面对这样的现状，能否巧妙地利用现有标注资源，将模型学习到的知识迁移到少量样本场景下，是一个热门的研究方向。

目前的文本信息抽取方法中，基于模型训练的方法需要大量的标注样本，虽然有一些深度模型呈现准确度越来越高，需要的标注样本量越来越少的趋势，但仍然需要一定量的标注样本才能训练得到可用的模型，在获得样本前，无法开展工作，这样的过程相当于将开发成本转嫁到样本的标注上，整体开发效率仍然低下。

本发明用于实体抽取，利用相近领域的大量标注资源，在目标领域上不需要标注样本就可得到准确率较高的抽取模型。

发明内容

本发明目的在于针对现有技术的不足，提出一种基于领域适应的少样本实体识别方法，本发明用不同领域的语料之间的相同特征作为支点特征，建立领域间特征的映射，使得在具有大量标签的源领域上训练的模型能够在没有标签的目标领域上同样表现出良好的准确率，将其应用在实体识别任务上，在相似领域间的迁移学习中，能够得到无标签目标领域实体识别较高的准确率。

本发明的目的是通过以下技术方案来实现的：一种基于领域适应的少样本实体识别方法，该方法包括如下步骤：

(1)选取支点特征

统计n-gram在源领域和目标领域的语料中出现的频次，选取在两个领域同时出现，且频次超过阈值词组作为支点特征词，通过支点特征词将模板“支点特征词w在右面”、“支点特征词w在左面”、“支点特征词w在中间”实例化，每个实例代表一个维度的支点特征，形成支点特征集，w表示文本句子中的支点特征词。

(2)建立训练数据集，训练支点特征分类器

将步骤(1)中的支点特征集作为训练数据集，训练一组预测样本句子中是否存在支点特征词的支点特征分类器，具体为：对每一维支点特征i训练一个逻辑回归模型作为支点特征分类器，对样本句子中的词判断是否存在支点特征，训练后得到逻辑回归模型的系数w_i，w_i为一个列向量，其维度为非支点特征的维度数量，对全部支点特征构成矩阵w＝[w₁,w₂,…,w_M]。w_M表示第M维支点特征，M＝3N，w_i中第j维的数值w_ij表示第j维非支点特征词与第i维支点特征词的相关性，w_ij为正值表示正相关。

支点特征分类器的样本输入：计算两个领域全部句子的n-gram形成n-gram列表，每个句子的特征为n-gram列表中的词是否存在于句子中的支点特征词和非支点特征词的二值向量，然后去掉句子中全部支点特征词对应的维度，得到句子的特征向量。