[发明专利]基于Roberta部首增强适配器的命名实体识别模型及方法

权利要求书

1.一种基于Roberta部首增强适配器的命名实体识别模型，其特征在于，包括部首适配器、部首增强Roberta模型和条件随机场；所述部首适配器用于将部首特征送入Roberta的底层充分融合信息；所述部首增强Roberta模型用于使用全词掩码方案的Roberta模型来提取语义特征；所述条件随机场用于在给定一组输入随机变量条件的情况下，输出另一组随机变量的条件概率分布模型。

2.根据权利要求1所述的基于Roberta部首增强适配器的命名实体识别模型，其特征在于，所述部首适配器包括执行下列步骤的装置：

部首适配器输入分为字符和部首这两部分，使用双线注意力将部首向量与字符向量对齐，然后将对齐后的部首向量与字符向量相结合得到字符-部首对表示，最后将结合后的向量表示经过规范化层输出最终结果；

对于一段字符长度为n的文本，其字符序列经过Roberta中编码层输出向量表示其字符序列对应的部首信息编码为向量，并表示为向量/为对齐这两种向量表示，将部首向量进行非线性变换，其中第i个元素为：

其中的W₁是维度为d_c*d_r的矩阵，W₂是维度为d_c*d_c的矩阵，b₁和b₂为偏置项，d_r代表部首嵌入的维度，d_c代表Roberta隐藏层的维度；

再将变换后的部首向量与字符向量相加得到字符-部首向量表示：

最后通过dropout层和规范化层输出最终结果，将字符序列和部首序列融合生成向量

3.根据权利要求1所述的基于Roberta部首增强适配器的命名实体识别模型，其特征在于，所述部首增强Roberta模型包括执行下列步骤的装置：

在输入部分将每个句子开头加入特殊标志符[CLS]，句子之间使用[SEP]分隔符分开，然后输入序列通过三部分嵌入获得序列表示，每个输入字符由token embedding、segmentembedding、position embedding三部分相加组成，序列中的字符E_t组成如下公式：

E_t＝E_{token_emb}+E_{seg_emb}+E_{pos_emb}#(3-3)

Roberta模型的最核心的部分由12层Transformer编码器构成，其中[CLS]对应的输出向量作为整段文本的语义表示；

部首适配器增强的Roberta是将部首适配器注入到Roberta的某一层中，将部首适配器连接到Roberta内部的某些Transformer之间，从而将外部的部首知识注入到Roberta中；

对于给定一个n个字符的文本，其字符序列为C＝{c₁,c₂,…,c_n}，将字符与部首字典匹配得到相应的部首序列R＝{r₁,r₂,…,r_n}，然后将字符序列输入到Roberta的嵌入层，并将得到的嵌入表示输入到Transformer编码器中，为了能在第k个和第k+1个Transformer之间注入字典信息，首先得到连续k个Transformer的输出然后将每对字符和部首通过部首适配器得到字符-部首表示，第i个字符/和第i个部首/经过部首适配器被表示为/

/

然后将经过部首适配器得到的序列输入到剩余的12-k层Transformer中，最终得到输出T＝{t₁,t₂,…,t_n}。