[发明专利]一种基于神经网络的中文命名实体识别方法、装置、设备以及存储介质

说明书

本发明涉及中文语言处理及识别技术领域，公开了一种基于神经网络的中文命名实体识别方法、装置、设备以及存储介质。通过本发明创造，提供了一种综合利用字符和词特征进行基于神经网络的深度学习方式来提高中文命名实体识别率的新方法，即在模型训练前，通过对待训练数据进行预处理，使训练样本包含有作为词边界信息的字符位置标识向量，进而确保训练得到的中文命名实体识别模型具有极高的识别率，使该识别模型能够将输入文本转化为命名实体标签，从而可解决现有技术无法利用句子中单词的信息，进而导致识别效果有瑕疵，限制了识别率提升的问题，便于实际应用和推广。此外，所述中文命名实体识别方法容易实现，并且开发和运行成本较低。

技术领域

本发明属于中文语言处理及识别技术领域，具体涉及一种基于神经网络的中文命名实体识别方法、装置、设备以及存储介质。

背景技术

命名实体识别(Named Entity Recognition，简称NER)是自然语言处理的一项基本任务，目的是识别出自然语言处理中的专有名词和短语，并加以分类。随着越来越多的研究者在NEP领域提出各种各样的模型结构，采用神经网络或深度学习来处理NER问题已经成为主要趋势。

当前基于字符的方法和基于词的方法是两种主流的处理方法，其中，基于词的方法需要使用分词工具，但分词工具效果不太完美，一旦分词错误，就会直接影响实体边界的预测，导致识别错误；而基于字符的方法，其以字符为单位进行训练，虽然训练规模变大，训练时间变长，但研究表明，对于中文的命名实体识别，基于字符的方法优于基于词的方法。但是基于字符的方法无法利用句子中单词的信息(实际上提供词边界信息能够有效提升识别率)，这会使识别效果有瑕疵，限制了识别率的提升。

发明内容

为了解决现有基于字符的中文命名实体识别方法所存在的因无法利用句子中单词的信息，进而导致识别效果有瑕疵，限制了识别率提升的问题，本发明目的在于提供一种基于神经网络的中文命名实体识别方法、装置、设备以及存储介质。

本发明所采用的技术方案为：

一种基于神经网络的中文命名实体识别方法，包括如下步骤：

S101.对待训练数据进行预处理，得到各个句子的字符特征标识向量和字符位置标识向量，其中，所述字符特征标识向量包含有在对应句子中各个字的字符特征唯一ID号，所述字符位置标识向量包含有在对应句子中各个字的字符位置唯一ID号；

S102.将各个句子的所述字符特征标识向量和所述字符位置标识向量作为训练样本，导入多层神经网络模型进行训练，得到中文命名实体识别模型；

S103.应用所述中文命名实体识别模型对目标文本进行中文命名实体识别，获取实体标注结果。

优化的，在所述步骤S101中，按照如下步骤得到各个句子的字符特征标识向量：

S1011.对所述待训练数据进行分句处理，得到若干句子；

S1012.对各个句子进行文字分割处理，使字与字之间分开；

S1013.统计所有字，并为每个字分配字符特征唯一ID号；

S1014.针对各个句子，根据在对应句子中每个字的对应字符特征唯一ID号，生成所述字符特征标识向量。

优化的，在所述步骤S101中，按照如下步骤得到各个句子的字符位置标识向量：

S1021.对所述待训练数据进行分句处理，得到若干句子；

S1022.对各个句子进行基于分词工具的全模式分词处理，得到若干词语；

S1023.针对各个句子，标记每个字在所属词语中的位置，然后根据所属词语在对应句子中的先后顺序，将位置标记信息拼接组成对应字的字符位置标签；