[发明专利]一种多模态信息选择性融合的中文命名实体识别方法

说明书

本发明涉及一种多模态信息选择性融合的中文命名实体识别方法，属于自然语言处理技术领域。本发明有效解决了如何将字音和字形这两个重要信息有效融入命名实体识别中，通过在命名实体识别的输入中，加入携带语义信息的字符的拼音与偏旁部首序列，赋予了向量更强的语义信息。采用选择性融合，能够动态地控制字音和字形特征所占的权重，有效提升了命名实体识别性能。本发明能够为机器翻译、问答系统和阅读理解等自然语言处理任务提供有效支持。

技术领域

本发明涉及一种中文命名实体识别方法，具体涉及一种选择性融合了词汇、字音和字形等多模态信息的中文命名实体识别方法，属于自然语言处理技术领域。

背景技术

命名实体识别(Named Entity Recognition，NER)技术，旨在从给定的文本序列中检测实体提及的边界并判断其所属类别。该技术是机器翻译、问答系统和阅读理解等多项自然语言处理下游任务的基础。NER的研究难点主要在于中文文本的语义分析困难，表现在词汇信息融合困难、汉字语义信息的引入困难等方面。

不同于英文文本，中文的单词之间没有空格作为边界，而单个字所能表示的语义有限。因此，如何将词汇信息融入到模型中，成为多项中文自然语言处理任务的研究热点。

在中文命名实体识别任务上，为了充分利用语义更为丰富的词汇信息，技术人员设计了基于自动分词器、多字符表示和外部词典等多种资源的神经网络模型。其中，以流水线方式作业的分词-实体识别框架受限于中文分词的正确性，在低资源领域表现较差。而多字符表示蕴含了字符间的共现信息，在一定程度上补充了上下文语境信息，但多数多字符组合并不具备实际的词义，无法很好地模拟词汇信息。

为了避免分词器的错误传播问题和多字符表示的语义不足的问题，将外部词典与字粒度NER模型结合，成为了目前主流的词信息融合方式。其中， Lattice-LSTM将输入文本中所有潜在的匹配词信息注入到单字表示中，在多个领域的中文NER数据集上取得了性能提升，同时，该研究带动了词表信息融合的研究热潮。特别地，PLTE和FLAT基于Transformer框架分别设计了两种词信息融合方式。PLTE以transformer encoder为基础，能够并行地批量处理对所有字符和匹配的词典词信息的建模。除此之外，它还添加了位置关系表示，引进了一种多孔机制增强局部性的建模和维持捕捉长期依赖的能力，赋予了字向量更丰富的语义信息，在多个数据集上均取得了性能提升。FLAT则是将与当前输入文本匹配的所有潜在词拼接到输入文本之后，将原始的单字序列输入文本扩展为字词序列，即将栅格结构展平为跨度，进而基于Transformer的自注意力机制和跨度的相对位置编码，使每个字符能够直接与潜在匹配词交互，从而提升 NER模型性能。MECT则在FLAT基础之上，针对汉字是象形文字的特点，将带有汉字语义信息的Radical(偏旁部首)也融入到字向量中，并使用了一个Cross-Transformer网络模块来交互式的融合Lattice embedding与Radical embedding以增强语义信息。

尽管有以上各种工作来融入词汇以及增强语义信息，但是，中文的字音和字形是两个非常重要的信息，它们在语言理解任务中携带了重要的句法和语义信息。到目前为止，还没有方法将这两个重要信息完整的融入到NER方法中。

发明内容

本发明的目的是针对当前的NER工作往往会忽略汉字中的字音和字形两个重要信息，为了解决如何将字音和字形这两个重要信息有效融入NER方法中的技术问题，创造性地提出一种多模态信息选择性融合的中文命名实体识别方法。能够更好地动态融合字符、字音和字形三者之间的语义信息。

本发明的创新点在于：在NER(命名实体识别)的输入中，加入携带语义信息的字符的拼音与偏旁部首序列。使用CNN(Convolutional Neural Network) 网络对汉字的字音(Pinyin，也就是拼音)，以及字形(Radical，也就是偏旁部首)进行编码，再经过Cross-Transformer网络的交互式嵌入之后，采用选择性融合，能够动态的生成不同模态信息的融合权重。