[发明专利]基于CN-DBpedia的实体识别与链接系统和方法

说明书

本发明公开了一种基于CN‑DBpedia的实体识别与链接系统和方法。该系统包括实体链接模块和实体识别模块；实体链接模块包括同义词匹配单元和实体链接单元；实体识别模块包括分词器、词概率计算单元和实体判别单元。本发明构建了实体与词语的语义关系，从而能在极少的上下文中挖掘到与实体的关系。本发明将基于机器学习的实体识别算法与非监督的分词算法融合。能从全局性的角度考虑实体名划分的合理性，又扩展了分词的词表空间，以更加合理的算法计算实体词的成词概率。本发明先链接再识别，使得实体识别时充分利用到了文本的语义信息，实现更好的分词与实体识别。

技术领域

本发明属于数据业务技术领域，具体涉及一种基于CN-DBpedia的实体识别与链接系统和方法。

背景技术

大数据时代的到来，为人工智能的飞速发展带来前所未有的数据红利。在大数据的“喂养”下，人工智能技术获得了前所未有的长足进步。其进展突出体现在以知识图谱为代表的知识工程以及深度学习为代表的机器学习等相关领域。随着深度学习对于大数据的红利消耗殆尽，深度学习模型效果的天花板日益迫近。另一方面大量知识图谱不断涌现，这些蕴含人类大量先验知识的宝库却尚未被深度学习有效利用。融合知识图谱与深度学习，已然成为进一步提升深度学习模型效果的重要思路之一。而在知识图谱技术中，最为基础且重要的是实体的识别与实体链接技术。

实体识别技术是指识别文本中的实体，实体链接是指将识别的实体链接到知识库中。现有的实体识别技术中，主要分为监督学习、半监督学习和无监督学习三类。其中监督学习是占主导地位的，包括隐含马尔可夫模型、决策树、最大熵模型、支持向量机、条件随机场以及神经网络。支持半监督学习的主要技术叫做拔靴法，即利用少量训练样本由多次重复抽样，重新建立起足以代表母体样本分布之新样本。无监督学习的一种典型方法是聚类。比如说，基于上下文相似度将命名实体进行聚类。实体链接的方法主要分为监督学习和无监督学习两类。其中监督学习是占主导地位的，包括二元分类建模、排序学习方法、概率模型以及图模型。无监督学习方法主要包括向量空间模型以及基于信息检索的模型。

现有的技术中，首先，主要是针对英文，英文知识图谱比中文的健全，多很多实体关系，少了很多噪音。其次，其所识别的实体一般限于命名实体，同时很多英文实体具有明显特征比如说大写、缩写等。

发明内容

本发明提供一种针对中文短文本的基于中文通用百科知识图谱CN-Dbpedia的实体识别与链接系统和方法。本发明能解决短文本上下文信息少的实体链接问题。

本发明的技术方案具体介绍如下。

本发明提供一种基于CN-DBpedia的实体识别与链接系统，其包括实体链接模块和实体识别模块；其中：

所述实体链接模块，用于检测出输入文本序列中所有可能的实体，并根据实体知识与上下文语义计算出每个位置出现每个实体的概率；

实体链接模块包括同义词匹配单元和实体链接单元；同义词匹配单元利用CN-DBpedia的同义词词库匹配文本中所有可能表示实体的子段，即实体同义词，并生成所有的候选实体；实体链接单元根据候选实体的本身特征以及与输入文本序列的匹配度，为每一个实体同义词对应每个实体的可能性进行计算，完成初步的实体链接；

所述实体识别模块，对序列做出概率最大的划分并最终判决出划分中的实体；

实体识别模块包括分词器、词概率计算单元和实体判别单元；分词器利用词概率单元计算每个子段成词概率，然后求出概率最大的划分；实体判别单元计算分词子段是实体的概率并输出实体判别结果，词概率计算单元根据实体判别单元的返回结果对普通词语与实体词语的成词概率分别进行计算，最后将经过划分的文本序列以及其中识别的实体结果输出，实体链接到CN-DBpedia中。