[发明专利]命名实体识别与链接方法、装置、设备及可读存储介质

说明书

本公开提供了一种命名实体识别与链接方法、装置、设备及可读存储介质。该方法包括：获取包含专有名称的待识别文本；基于预先构建的词典，对所述待识别文本分词，拆分出与所述专有名词对应的目标实体词；以及基于所述目标实体词的标注信息，确定所述目标实体词的类型；其中，所述词典包含实体词与背景词，所述实体词的概率与所述实体词的长度非线性相关，所述背景词的概率与所述背景词的长度非线性相关，所述实体词的概率与所述背景词的概率均用于对所述待识别文本分词。该方法可以提升命名实体识别的准确度。

背景技术

随着语义识别技术的发展，命名实体识别与链接技术的应用得到了广泛应用。例如，智能设备(智能手机、平板电脑等)中的语音助手获取用户的语音，经过语音识别，将语音转换为文字后，需要对其中的命名实体进行识别，进而将识别出的命名实体链接到相应的知识库中。如用户语音输入“播放七里香”，智能设备在识别出歌曲“七里香”后，使用音乐技能将其链接到播放软件进行歌曲播放。

然而，目前的命名实体与链接技术仍较难消除歧义。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种命名实体识别与链接方法、装置、设备及可读存储介质，可以提升命名实体识别的准确度。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种命名实体识别与链接方法，包括：获取包含专有名称的待识别文本；基于预先构建的词典，对所述待识别文本分词，拆分出与所述专有名词对应的目标实体词；以及基于所述目标实体词的标注信息，确定所述目标实体词的类型；其中，所述词典包含实体词与背景词，所述实体词的概率与所述实体词的长度非线性相关，所述背景词的概率与所述背景词的长度非线性相关，所述实体词的概率与所述背景词的概率均用于对所述待识别文本分词。

根据本公开的一实施方式，基于预先构建的词典，对所述待识别文本分词，拆分出与所述专有名词对应的目标实体词，包括：基于所述词典构建的前缀树，生成所述待识别文本的有向无环图；基于所述词典中各实体词的概率与各背景词的概率，查找最大概率路径；确定所述最大概率路径的分词结果为所述待识别文本的分词结果；以及确定所述分词结果中的实体词作为与所述专有名称对应的所述目标实体词。

根据本公开的一实施方式，所述实体词的概率为所述实体词的长度的平方乘以预设阈值，所述背景词的概率为所述背景词长度的平方。

根据本公开的一实施方式，所述背景词由高频查询语句中的语句片段和/或高频查询词构成。

根据本公开的一实施方式，所述语句片段基于N-Gram模型从所述高频查询语句中确定。

根据本公开的一实施方式，所述词典还包括：所述实体词及所述背景词的子串，用于构建所述词典的前缀树。

根据本公开的一实施方式，所述方法还包括：根据所述目标实体词的类型，将所述目标实体词链接到预设知识库的命名实体中。

根据本公开的另一方面，提供一种命名实体识别与链接装置，包括：文本获取模块，用于获取包含专有名称的待识别文本；文本分词模块，用于基于预先构建的词典，对所述待识别文本分词，拆分出与所述专有名词对应的目标实体词；以及类型确定模块，用于基于所述目标实体词的标注信息，确定所述目标实体词的类型；其中，所述词典包含实体词与背景词，所述实体词的概率与所述实体词的长度非线性相关，所述背景词的概率与所述背景词的长度非线性相关，所述实体词的概率与所述背景词的概率均用于对所述待识别文本分词。

根据本公开的再一方面，提供一种电子设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任意一种方法。