[发明专利]一种基于小样本的命名实体识别方法、装置及相关介质

权利要求书

1.一种基于小样本的命名实体识别方法，其特征在于，包括：

获取样本数据，并对所述样本数据标注实体标签，以此构建第一样本集；

在所述第一样本集中选取枢纽字符，并基于所述枢纽字符构建标签映射空间；

利用所述标签映射空间将所述第一样本集映射为第二样本集；

利用所述第二样本集对预训练语言模型进行微调；

采用微调后的预训练语言模型对指定文本进行命名实体识别预测。

2.根据权利要求1所述的基于小样本的命名实体识别方法，其特征在于，所述获取样本数据，并对所述样本数据标注实体标签，以此构建第一样本集，包括：

将所述样本数据划分为命名实体文本和非命名实体文本；

对所述命名实体文本标注实体标签；

对所述非命名实体文本标注为O；

基于标注结构构建得到所述第一样本集S₁＝文本X，标签Y。

3.根据权利要求2所述的基于小样本的命名实体识别方法，其特征在于，所述在所述第一样本集中选取枢纽字符，并基于所述枢纽字符构建标签映射空间，包括：

按照下式构建所述标签映射空间M：

其中，x和y分别表示第一样本集中的文本和对应的实体标签，表示枢纽字符w对实体标签Li的代表程度指标，表示从所有字符V中选择出对实体标签L_i代表程度指标最高的的枢纽字符w，tf(x＝w,y＝l_i)表示所有被标注为L_i的字符中枢纽字符w所出现的频率，idf(x＝w)表示枢纽字符w普遍重要性的度量。

4.根据权利要求3所述的基于小样本的命名实体识别方法，其特征在于，所述利用所述标签映射空间将所述第一样本集映射为第二样本集，包括：

选取第一样本集中的实体标签；

按照下式，对所述第一样本集中的实体标签对应的文本进行映射，以此得到包含文本和目标文本的所述第二样本集S₂＝文本X，目标文本X’：

X'＝{x₁,…,M(y_i),…,x_n}

其中，X’表示被映射为第二样本集中的目标文本，M(·)表示标签映射空间，y_i表示第一样本集中的实体标签，x₁和x_n表示第一样本集中的文本。

5.根据权利要求4所述的基于小样本的命名实体识别方法，其特征在于，所述预训练语言模型为BERT预训练模型。

6.根据权利要求5所述的基于小样本的命名实体识别方法，其特征在于，所述利用所述第二样本集对预训练语言模型进行微调，包括：

将所述第二样本集中的文本输入至BERT预训练模型中，并由BERT预训练模型输出对应的特征编码；

基于所述特征编码，按照计算输入的文本被预测为目标文本的概率P：

P(x_i＝x′_i|X)＝softmax(W_LM·h_i)

其中，x_i表示输入的第i个文本数据，x'_i表示第i个目标文本数据，X表示第二样本集的文本，LM表示BERT预训练模型，W_LM表示BERT预训练模型LM最后一层全连接层的权重参数，h_i表示第i个文本数据的特征编码；

按照下式，利用损失函数对微调训练进行优化更新，以得到微调后的BERT预训练模型LM'：