[发明专利]基于Roberta部首增强适配器的命名实体识别模型及方法

说明书

本发明属于计算机应用技术领域，公开了一种基于Roberta部首增强适配器的命名实体识别模型及方法，包括部首适配器、部首增强Roberta模型和条件随机场；部首适配器用于将部首特征送入Roberta的底层充分融合信息；部首增强Roberta模型用于使用全词掩码方案的Roberta模型来提取语义特征；条件随机场用于在给定一组输入随机变量条件的情况下，输出另一组随机变量的条件概率分布模型。本发明针对短文本中上下文信息不足，且考虑到部首中包含深层次的语义信息，将部首特征结合到Roberta的底层来充分融合特征。并在两个数据集上通过多组对比实验证明了该模型的性能好，底层融合部首特征具有较大的优越性。

技术领域

本发明属于计算机应用技术领域，尤其涉及一种基于Roberta部首增强适配器的命名实体识别模型及方法。

背景技术

命名实体识别是许多自然语言处理任务的基础，旨在将文本中的实体指称正确识别，其模型的准确性对后续的研究有着重要影响。命名实体识别技术早期主要基于规则字典的方法，这种方法的可移植性差、耗费大量的人力。随后，基于机器学习的命名实体识别方法逐渐进入人们的视野，但是这种方法仍需要人工构建特征。随着自然语言处理技术的发展，深度学习方法逐渐成为命名实体识别的主流模型。尤其近年来，预训练模型在许多任务中表现出优越性能，很多学者利用深度学习模型提取特征并与预训练模型相结合，提高了命名实体识别的效果。然而，目前的特征增强仍然处于模型层面的融合，无法使得特征进行深入交互。

本发明通过进一步加强特征融合，缓解短文本中语义信息不足问题，从而提高命名实体识别性能。为此，设计了一种部首适配器将部首信息融入到Roberta的底层，使得特征在Roberta模型底层进行深入知识交互。此外，考虑到相邻标签之间的依赖性，使用了条件随机场(CRF)以进行序列标注，从而得到最优序列标签。

发明内容

本发明目的在于提供一种基于Roberta部首增强适配器的命名实体识别模型及方法，以解决上述的技术问题。

为解决上述技术问题，本发明的基于Roberta部首增强适配器的命名实体识别模型及方法的具体技术方案如下：

一种基于Roberta部首增强适配器的命名实体识别模型，包括部首适配器、部首增强Roberta模型和条件随机场；所述部首适配器用于将部首特征送入Roberta的底层充分融合信息；所述部首增强Roberta模型用于使用全词掩码方案的Roberta模型来提取语义特征；所述条件随机场用于在给定一组输入随机变量条件的情况下，输出另一组随机变量的条件概率分布模型。

进一步的，所述部首适配器包括执行下列步骤的装置：

部首适配器输入分为字符和部首这两部分，使用双线注意力将部首向量与字符向量对齐，然后将对齐后的部首向量与字符向量相结合得到字符-部首对表示，最后将结合后的向量表示经过规范化层输出最终结果；

对于一段字符长度为n的文本，其字符序列经过Roberta中编码层输出向量表示其字符序列对应的部首信息编码为向量，并表示为向量/为对齐这两种向量表示，将部首向量进行非线性变换，其中第i个元素为：

/

其中的W₁是维度为d_c*d_r的矩阵，W₂是维度为d_c*d_c的矩阵，b₁和b₂为偏置项，d_r代表部首嵌入的维度，d_c代表Roberta隐藏层的维度；

再将变换后的部首向量与字符向量相加得到字符-部首向量表示：

最后通过dropout层和规范化层输出最终结果，将字符序列和部首序列融合生成向量