[发明专利]基于词性融合的命名实体识别方法、模型及模型训练方法

说明书

本发明提供了一种基于词性融合的命名实体识别模型训练方法、基于词性融合的命名实体识别模型和基于词性融合的命名实体识别方法。模型训练方法包括：接收实体识别训练集任务语句，其中任务语句中的每个单字表示为单字向量wsubgt;i/subgt;；对任务语句进行分词处理，得到至少一个实体词语以及每一实体词语的词性，并对每一实体词语的词性随机生成词性向量hsupgt;j/supgt;；依据每个单字的单字向量wsubgt;i/subgt;和每个汉字所在实体词语的词性向量hsupgt;j/supgt;得到每个单字的修正单字向量wsubgt;i/subgt;’；将每个单字的修正单字向量wsubgt;i/subgt;’输入转换器的编码器中，得到每个单字的输出向量；将每个单字的输出向量输入至条件随机场层，将每个单字标记实体标签；检测实体标签的准确率并进行迭代训练。

技术领域

本发明主要涉及自然语言处理领域，尤其涉及一种基于词性融合的命名实体识别方法、模型及模型训练方法。

背景技术

命名实体识别(Name Entity Recognition，NER)，也称专名识别。NER是指识别文本中具有特定意义的实体词语，主要包括人名、地名、机构名、专有名词等。NER是自然语言处理(Natural language processing,NLP)领域的基础任务之一，被广泛应用于问答系统、信息提取、句法分析、机器翻译等问题中，在NLP技术中占有重要位置。现有的NER技术主要包括基于规则的方法、基于无监督的方法、基于特征的有监督机器学习方法、基于深度学习的方法，其中较为常用的是基于特征与条件随机场(conditional random field，CRF)相结合的方案，将字符特征、bigram(二元语法)特征、词特征等特征输入到模型中进行学习，最后使用CRF函数进行解码，但是该方法模型容量较小。另一种较常用的是基于深度学习的NER技术，由于采用大语料、大模型，其相比之前的方法取得了突破性的进展，但是在实际应用中，该方法需要的算力较大，限制了其在线场景的应用。

发明内容

本发明要解决的技术问题是提供一种在保证算力的同时所需模型容量较小的基于词性融合的命名实体识别方法、模型及模型训练方法。

为解决上述技术问题，本发明提供了一种基于词性融合的命名实体识别模型训练方法，包括：步骤1，接收实体识别训练集任务语句，其中任务语句中的每个单字表示为单字向量w_i；步骤2，对任务语句进行分词处理，得到至少一个实体词语以及每一实体词语的词性，并对每一实体词语的词性随机生成词性向量h^j；步骤3，依据每个单字的单字向量w_i和每个汉字所在实体词语的词性向量h^j得到每个单字的修正单字向量w_i’；步骤4，将每个单字的修正单字向量w_i’输入转换器的编码器中，得到每个单字的输出向量；步骤5，将每个单字的输出向量输入至条件随机场层，将每个单字标记实体标签；步骤6，检测实体标签的准确率并进行迭代训练。

在本发明的一实施例中，修正向量w_i’的计算公式为：w_i′＝_i+α*h^j，其中α为修正参数，且0α1。

在本发明的一实施例中，单字向量、词性向量和修正单字向量的维度小于等于768。

在本发明的一实施例中，编码器的层数小于等于16层。