[发明专利]基于神经网络的多信息融合命名实体识别方法

说明书

本发明涉及一种基于神经网络的多信息融合命名实体识别方法，包括以下步骤：步骤一，对于包含实体信息的输入文本，转化成将文本长度为n并包含实体信息的文本序列，通过预训练模型BERT获取文本特征向量；通过匹配的方式将文本长度为n并包含实体信息的文本序列转换成对应的文字图片；步骤三，将步骤二得到的图片经过卷积模块提取特征；步骤四，将步骤一和步骤三分别提取的文本特征和图像特征拼接后得到完整的融合特征；步骤五，通过融合特征来构建标注矩阵；步骤六，基于标注矩阵实现命名实体识别。

技术领域

本发明涉及自然语言处理技术领域，是一种新型的命名实体识别的抽取方法。

背景技术

命名实体识别(NER)(也称为实体识别、实体分块和实体提取)是信息提取的一个子任务，旨在将文本中的命名实体定位并分类为预先定义的类别，如人员、组织、位置、时间表达式、数量、货币值、百分比等。随着自然语言处理领域关系抽取技术的不断发展，各行各业产生的大量结构化、半结构化、非结构化的海量数据中隐藏的信息得以被挖掘和再开发，为社会进步和行业发展提供了新的动力和发展引导作用。

NER领域常用模型划分为两大类，一是传统模型，二是基于深度学习的模型。

传统模型主要包括有基于规则的模型，基于统计学习的方法。

基于规则的模型往往需要词表、词汇和领域知识。这种方法准确率高，召回率低，对于新词缺乏发现能力，并且往往需要领域专家维护知识库。基于统计机器学习的方法主要包括：隐马尔可夫模型(Hidden Markov Moder,HMM)、最大熵模型(Maximum EntropyModel,MEM)、支持向量机(Support Vector Machine,SVM)、条件随机场(ConditionalRandom Field,CRF)等等。在基于机器学习的方法中，NER被当作序列标注问题。利用大规模语料来学习出标注模型，从而对句子的各个位置进行标注。NER任务中的常用模型包括生成式模型HMM、判别式模型CRF等。条件随机场(Conditional Random Field，CRF)是NER目前的主流模型。条件随机场(CRF)的目标函数不仅考虑输入的状态特征函数，而且还包含了标签转移特征函数。在训练时可以使用SGD学习模型参数。在已知模型时，给输入序列求预测输出序列即求使目标函数最大化的最优序列，是一个动态规划问题，可以使用维特比算法进行解码。CRF的优点在于其为一个位置进行标注的过程中可以利用丰富的内部及上下文特征信息。但其无法解决实体嵌套问题。总的来说，实体识别领域面临的挑战主要有以下两个方面：

1、如何获取更丰富准确的语义信息表达向量；

2、如何解决命名实体识别中的实体重叠和嵌套问题。

发明内容

本发明提供了一种基于神经网络的多信息融合命名实体识别方法，可以获取更丰富准确的语义信息表达，并用来避免解决命名实体识别中出现的实体重叠和嵌套问题。技术方案如下：

一种基于神经网络的多信息融合命名实体识别方法，包括以下步骤：

步骤一，对于包含实体信息的输入文本，转化成将文本长度为n并包含实体信息的文本序列，通过预训练模型BERT获取文本特征向量，输出的文本特征向量表示为其中n代表文本长度，k代表每个字的文本特征向量的维度；

步骤二，通过匹配的方式将文本长度为n并包含实体信息的文本序列转换成对应的文字图片，每个字转换一张通道数为1的灰度图，如果某个字不存在BERT字表中对应的ID，则转换为一张全0的灰度图；

步骤三，将步骤二得到的图片经过卷积模块提取特征；

所述的卷积模块包括3D卷积块和多个2D卷积块，分别用来提取图像不同维度的信息，提取特征方法如下：

1)经过3D卷积块以提取到文字图片的深度信息，操作如下：使用2个卷积核大小为3×3×3的3D卷积层将步骤二得到的文字图片映射到8通道的特征空间；