[发明专利]实体链接方法及装置

权利要求书

1.一种实体链接方法，其特征在于，包括：

基于词典的方式进行实体发现，得到实体提及；

基于词和实体的联合表示的方式进行实体链接，得到所述实体提及与知识库中的实体的链接关系；

对所述链接关系进行减枝处理。

2.根据权利要求1所述的实体链接方法，其特征在于，基于词典的方式进行实体发现，得到实体提及，包括：

构建锚文本词典；

基于所述锚文本词典，采用实体提及匹配算法，识别所述文档中的实体提及。

3.根据权利要求2所述的实体链接方法，其特征在于，构建锚文本词典，包括：

从所述知识库中提取实体，以及提取与所述实体对应的锚文本；

在提取得到的锚文本m中，应用以下过滤规则进行过滤：

去除掉length(m)≤length的锚文本；

去除掉link_prob(m)≤prob的锚文本；

去除掉count(m)≤count的锚文本；

根据过滤之后得到的锚文本，建立实体与锚文本之间的对应关系，构建锚文本词典；

其中，length、prob、count的数值预先设定；length(m)是指锚文本m的长度，link_prob(m)是指锚文本m的先验概率，锚文本m的先验概率是指锚文本m作为实体提及在文档中出现的概率；link_prob(m)＝freq(m)/count(m)，其中，freq(m)是m作为锚文本出现的次数，count(m)是m在语料库中的所有出现次数。

4.根据权利要求2所述的实体链接方法，其特征在于，基于所述锚文本词典，采用实体提及匹配算法，识别所述文档中的实体提及，包括：

利用Aho-Corasick算法，将所述文档在锚文本词典里的文本片段识别出来；

对于识别结果，若存在冲突现象：一个实体提及m1嵌套在另一个实体提及m2中，或，一个实体提及m1和另一个实体提及m2相互重叠，则根据下面方式进行冲突解决：

对于长度不同的m1和m2，如果length(m1)length(m2)，则保留m1，反之，保留m2；

对于长度相同的实体提及，如果link_prob(m1)link_prob(m2)，则保留m1，反之，保留m2。

5.根据权利要求1所述的实体链接方法，其特征在于，基于词和实体的联合表示的方式进行实体链接，得到所述实体提及与知识库中的实体的链接关系，包括：

建立词和实体的联合表示模型；

基于所述词和实体的联合表示模型，采用概率实体模型，建立所述实体提及与知识库中的实体的链接关系。

6.根据权利要求5所述的实体链接方法，其特征在于，所述词和实体的联合表示模型包括skip-gram模型、知识库模型和锚文本上下文模型的组合；相应地，建立词和实体的联合表示模型，包括：

建立skip-gram模型，通过预测词的相邻词学习给定文本语料中词的表示；

建立知识库模型，通过预测目标实体相邻的实体来学习实体的表示；

建立锚文本上下文模型，将锚文本替换为相应的实体，预测该实体周围下文的词，将词和实体映射到同一个语义空间中；

在对所述词和实体的联合表示模型进行训练时，所述词和实体的联合表示模型的总目标为最大化三个模型目标函数的线性组合。