[发明专利]一种多模态信息选择性融合的中文命名实体识别方法

权利要求书

1.一种多模态信息选择性融合的中文命名实体识别方法，其特征在于，首先，将原文本使用词典匹配方法获取单词的语义信息，并使用由头尾位置转换而来的相对位置编码来适应单词边界信息；

然后，对于文本的每一个字符，使用CNN网络来提取汉字的拼音和偏旁部首信息；当得到汉字的字音Pinyin、字形Radical和语义Lattice信息后，使用Cross Transformer来增强Lattice与Pinyin、Lattice与Radical的语义信息；

之后，采用选择性融合方式集成这些向量，包括字符粒度、句子粒度两个层面的融合信息；

最后，对单词部分进行屏蔽，将融合后的信息传递给条件随机场，得到最终的标签预测概率，从而完成中文命名实体识别。

2.如权利要求1所述的一种多模态信息选择性融合的中文命名实体识别方法，其特征在于：

获取语义Lattice信息的方法为：首先，使用词典匹配方法获取汉字的语义信息，并使用由头尾位置转换而来的相对位置编码来适应单词边界信息；然后，使用预先训练好的词向量初始化获取Lattice Embedding；

获取字音Pinyin信息，包括汉字的声母韵母和音调，将每个汉字的拼音按照声母、韵母、音调顺序组合，然后按照式1输入到CNN卷积网络中进行Embedding表示：

x_i＝f(w·e_i:i+h-1+b) (1)

其中，w、b为卷积层参数，h为卷积核宽度，x_i为文本中第i个字符拼音经过卷积层后的表示，e表示字符的初始化表示，f为激活函数；

获取字形信息，将汉字结构主体作为汉字的偏旁部首，首先爬取汉字的结构主体，将汉字的结构主体进行顺序组合，然后利用CNN编码为Radical Embedding表示。

3.如权利要求1所述的一种多模态信息选择性融合的中文命名实体识别方法，其特征在于，使用Cross Transformer来增强Lattice与Pinyin、Lattice与Radical的语义信息的方法如下：

基于Cross-Transformer的交互嵌入，包括Embedding向量初始化和Embedding交互嵌入；

步骤a：Embedding向量初始化；

根据汉字的Lattice、Pinyin和Radical Embedding，通过一个线性Transformer模块，得到Cross-Transformer的输入：

其中，E_P、E_R是汉字Lattice、Pinyin和Radical Embedding；I为单位矩阵，每一个线性映射矩阵W均为可学习参数；L1、L2分别表示与Pinyin和Radical做交互计算的Lattice1和Lattice2；P表示Pinyin，R表示Radical；T表示矩阵的转置；Q、K、V分别表示Cross-Transformer的三个输入Embedding；

步骤b：Embedding交互嵌入，得到Cross-Transformer的输入；之后，使用Cross-Transformer网络进行Lattice与Pinyin、Lattice与Radical的交互嵌入计算：

Att_P(Q_L1,K_P,V_P)＝Softmax(Q_L1,K_P)V_P (3)

Att_L1(Q_P,K_L1,V_L1)＝Softmax(Q_P,K_L1)V_L1 (4)

Att_L2(Q_R,K_L2,V_L2)＝Softmax(Q_R,K_L2)V_L2 (5)

Att_R(Q_L2,K_R,V_R)＝Softmax(Q_L2,K_R)V_R (6)

其中，Att为最后得到的Attention Embedding；L1、L2分别表示与Pinyin和Radical做交互计算的Lattice1和Lattice2，P表示Pinyin，R表示Radical；Q、K、V分别表示Cross-Transformer的三个输入Embedding。

4.如权利要求1所述的一种多模态信息选择性融合的中文命名实体识别方法，其特征在于，选择性融合的方法如下：

步骤I：字符粒度权重选择；

使用h_i来表示第i个字符的Attention向量；使用一个选择性的门单元来控制有多少信息能够流向混合的Embedding表示，门值由一个全连接层和一个sigmoid函数计算出来；输入包括经过Cross-Transformer之后的Cross Attention表示；将Pinyin、两个Lattice和Radical模式的门值表示为g^p、g^l1、g^l2、g^r，则第i个字符的融合Embedding表示如下计算：

其中，W^p,W^l1,W^l2,W^r,b^p,b^l1,b^l2,b^r均为可学习的参数；σ是sigmoid函数；分别表示第i个字符在Pinyin、Lattice1、Lattice2和Radical的Attention向量；

步骤II：融合Embedding表示；

在步骤I中得到各个embedding的门值之后，将各个Attention Embedding与门值进行加权求和，得到融合Embedding表示

步骤III：句子粒度学习；

应用Transformer Layer，在句子级别来充分学习Lattice、Pinyin和Radical信息；所有字符的混合表征被打包成：

其中，H₀表示所有字符的混合表征，表示第N个字符的融合表征，表示第M个字符的融合表征；

则最终的混合Embedding表示，按照如下方式进行计算：

H＝Transformer(H₀) (13)

其中，H表示经过Transformer层的隐藏层输出。