[发明专利]基于语义理解的实体识别方法、装置、计算机设备和介质

权利要求书

1.一种基于语义理解的实体识别方法，其特征在于，所述方法包括：

对于用户的输入文本，提取所述输入文本的主干词语；

将所述主干词语与至少一个相邻词语组成文本片段，其中，所述相邻词语是与所述主干词语相邻的词语；

计算所述文本片段与实体词典中实体词的语义相似度；

根据所述语义相似度对所述实体词进行过滤，得到候选实体；

通过训练好的语言模型对包括所述候选实体的文本片段进行消歧处理，得到实体识别结果。

2.根据权利要求1所述的方法，其特征在于，所述提取所述输入文本的主干词语，包括：

对所述输入文本进行分词处理，得到多个词语；

根据停用词表对所述词语进行过滤，得到过滤后的主干词语。

3.根据权利要求1所述的方法，其特征在于，所述提取所述输入文本的主干词语，包括：

对所述输入文本进行分词处理，得到多个词语；

基于停用词表，通过正则表达式对所述词语进行过滤，得到待确认词语；

计算各所述待确认词语在所述输入文本中的第一词频；

获取所述待确认词语在语料库中的第二词频；

根据所述第一词频与所述第二词频的乘积对所述待确认词语进行过滤，得到所述主干词语。

4.根据权利要求1所述的方法，其特征在于，所述计算所述文本片段与实体词典中实体词的语义相似度，包括：

从所述实体词典中搜索是否存在与所述文本片段中词语对应的实体序列，其中，所述实体序列中包括至少一个实体词；

若存在，则计算所述文本片段与所述实体序列的语义相似度。

5.根据权利要求4所述的方法，其特征在于，所述根据所述语义相似度对所述实体词进行过滤，得到候选实体，包括：

将所述语义相似度不小于预设值的实体词作为候选实体。

6.根据权利要求4所述的方法，其特征在于，所述计算所述文本片段与所述实体序列的语义相似度，包括：

通过公式：

计算所述文本片段与所述实体序列的语义相似度，其中，sim(a,b)表示文本片段与实体词的相似度、|a|为文本片段包括的词语数量、w_i∈a和w_j∈b分别表示文本片段、实体词中的词语、为文本片段中词语对应的词向量、为实体词中词语对应的词向量。

7.根据权利要求1所述的方法，其特征在于，所述语言模型包括第一语言模型、第二语言模型，所述通过训练好的语言模型对包括所述候选实体的文本片段进行消歧处理，得到实体识别结果，包括：

将所述输入文本中包括所述候选实体对应的文本片段替换为预设标识，得到替换输入文本；

将所述输入文本输入到所述第一语言模型中，得到第一联合概率；

将所述替换输入文本输入到所述第二语言模型中，得到第二联合概率；

根据所述第一联合概率、所述第二联合概率得到所述实体识别结果。

8.一种基于语义理解的实体识别装置，其特征在于，包括：

分词模块，用于对于用户的输入文本，提取所述输入文本的主干词语；

组合模块，用于将所述主干词语与至少一个相邻词语组成文本片段，其中，所述相邻词语是与所述主干词语相邻的词语；

相似模块，用于计算所述文本片段与实体词典中实体词的语义相似度；

过滤模块，用于根据所述语义相似度对所述实体词进行过滤，得到候选实体；

消歧模块，用于通过训练好的语言模型对包括所述候选实体的文本片段进行消歧处理，得到实体识别结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。