[发明专利]一种动态融合词典信息的中文命名实体识别方法和装置

权利要求书

1.一种动态融合词典信息的中文命名实体识别方法，其特征在于，所述识别方法包括以下步骤：

S1，接收待识别句子，为句子中的每个字从词典中匹配相关的词汇；

S2，利用self-attention作为字词信息融合器来动态的学习字与对应的词之间的相关性权重，以融合字词信息；融合过程包括：

对每个单词集合的嵌入表示进行线性变换和tanh激活函数，利用self-attention计算字符嵌入表示与每个单词集中各单词的嵌入表示注意力得分，在四个单词集注意力得分上进行归一化得到四个集合的字词权重；分别在四个集合上，利用权重对每个集合中的词汇嵌入进行加权求和；在字词嵌入表示最后维度进行拼接得到字词融合信息表示；

S3，采用改进的Transformer层，在建模上下文的语义信息的同时，通过优化初始位置编码的方式融入位置信息；

S4，将步骤S3中学习得到的上下文表示输入到条件随机场进行预测。

2.根据权利要求1所述的动态融合词典信息的中文命名实体识别方法，其特征在于，步骤S2中，融合过程包括以下子步骤：

S21，针对句子S＝{x₁,x₂,x₃,...,x_n}中的每个字x_i，从词典L中匹配相关的词汇，i＝1,2,...,n，n是该句子中的字总数；

S22，将匹配到的词汇放到四个不同的集合中，方法如下：

其中，当一个词汇集合为空时，向其中添加一个特殊符号“None”；B(x_i)、M(x_i)、E(x_i)、S(x_i)分别表示句子中第i个字在词典中匹配到的以x_i开头、x_i在词中间、以x_i结尾、x_i单独构成一个词的词集；W_x,y表示句子中第x至第y个字组成的词；

S23，在嵌入层，采用self-attention学习字和四个集合中每个词的相关性权重以融合字词信息：

fusion＝[e^c(x_i)；u(B)；u(M)；u(E)；u(S)]

u(α)＝weight(α)e^w(y),y∈α

weight(α)＝softmax([score(B)；score(M)；score(E)；score(S)])[α]

score(β)＝e^c(x_i)v(β)^T

v(β)＝tanh(e^w(y)X+b),y∈β

其中，e^c、e^w分别表示字符嵌入和词嵌入查找表，[；]表示在向量最后维度上的拼接操作，[]表示按照B,M,E,S符号在weight中进行对应的取值操作；fusion是字词融合函数；u是用来对各个词集进行加权求和的函数；weight是对四个词集注意力权重进行归一化的函数；score函数用来计算字和对应词集的注意力得分；v函数对各个词集的词向量表示进行一次线性变换和一次激活函数。