[发明专利]基于语义理解的实体识别方法、装置、计算机设备和介质

说明书

本申请实施例属于语义识别领域，应用于智慧城市领域中，涉及一种基于语义理解的实体识别方法，包括对于用户的输入文本，提取所述输入文本的主干词语；将所述主干词语与至少一个相邻词语组成文本片段，其中，所述相邻词语是与所述主干词语相邻的词语；计算所述文本片段与实体词典中实体词的语义相似度；根据所述语义相似度对所述实体词进行过滤，得到候选实体；通过训练好的语言模型对包括所述候选实体的文本片段进行消歧处理，得到实体识别结果。本申请还提供一种基于语义理解的实体识别装置、计算机设备及存储介质。采用本方法解决了现有技术中用传统词典匹配能力一般，无法识别词典外的实体，缺乏泛化能力的技术问题。

技术领域

本申请涉及语义识别领域，特别是涉及一种基于语义理解的实体识别方法、装置、计算机设备和存储介质。

背景技术

命名实体识别(Named Entity Recognition，简称NER)，也成为了实体识别、实体分块和实体提取，是自然语言处理的一项基础人物，旨在将文本中的命名实体定位并分类为预先定义的类别，例如人名、地名、机构名等。NER是关系抽取、时间抽取、知识图谱、信息提取、问答系统、句法分析、机器翻译等诸多NLP任务的基础，现有技术中多个NLP技术模块中需要用到NER技术，具体包括：在query语义解析中，需要利用NER技术先抽取专有名词再构建关系；在FAQ中，需要利用NER技术识别问题和答案中的实体，帮助提高答案匹配的召回率和准确率。命名实体识别的主要方式分为基于规则和词典的方式、基于统计的方式，其中，前者是命名实体识别中最早使用的方式，多采用语言学专家构造规则模板，以模式和字符串匹配为主要手段，依赖词典的构建，一般而言，当提取的规则比较精准地反映语言现象时，基于规则的方式性能要优于基于统计的方式。但传统的词典匹配一般使用字符精确匹配的方式，过于依赖词典的构建，无法识别词典外的实体，缺乏泛化能力。

发明内容

基于此，针对上述技术问题，本申请提供一种基于语义理解的实体识别方法、装置、计算机设备及存储介质，以解决现有技术中使用传统词典匹配能力一般，无法识别词典外的实体，缺乏泛化能力的技术问题。

一种基于语义理解的实体识别方法，所述方法包括：

对于用户的输入文本，提取所述输入文本的主干词语；

将所述主干词语与至少一个相邻词语组成文本片段，其中，所述相邻词语是与所述主干词语相邻的词语；

计算所述文本片段与实体词典中实体词的语义相似度；

根据所述语义相似度对所述实体词进行过滤，得到候选实体；

通过训练好的语言模型对包括所述候选实体的文本片段进行消歧处理，得到实体识别结果。

一种基于语义理解的实体识别装置，所述装置包括：

分词模块，用于对于用户的输入文本，提取所述输入文本的主干词语；

组合模块，用于将所述主干词语与至少一个相邻词语组成文本片段，其中，所述相邻词语是与所述主干词语相邻的词语；

相似模块，用于计算所述文本片段与实体词典中实体词的语义相似度；

过滤模块，用于根据所述语义相似度对所述实体词进行过滤，得到候选实体；

消歧模块，用于通过训练好的语言模型对包括所述候选实体的文本片段进行消歧处理，得到实体识别结果。

一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述基于语义理解的实体识别方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述基于语义理解的实体识别方法的步骤。