[发明专利]一种基于富文本特征的新闻实体链接方法和系统

说明书

本发明公开了一种基于富文本特征的新闻实体链接方法和系统，所述方法包括如下步骤：构建候选实体的知识图谱，其中所述知识图谱包括指称实体和候选实体；获取新闻数据，从所述新闻数据中识别指称实体，根据所述指称实体从所述知识图谱中查找候选实体；将所述新闻数据进行分句获取上下文短句列表，筛选包含所述指称实体的所有上下文短句，生成上下文特征列表，获取候选实体的描述文本特征和附加属性特征，构建富文本特征，将所述富文本特征输入到二分类模型中训练，训练完毕后用于预测指称实体和候选实体的匹配的分类概率。所述方法和系统结合Attention计算让模型综合性考虑了不同描述方式下的文本语境，极大程度上提高了模型在复杂文本场景下的辨识度。

技术领域

本发明涉及新闻传媒技术领域，特别涉及一种基于富文本特征的新闻实体链接方法和系统。

背景技术

在新闻结构化过程中常常需要利用NLP技术识别其中的人物、机构、地理等指称实体并链接至知识图谱中对应的目标实体，通过知识图谱中详细的实体信息有助于解析新闻从而更好服务于下游应用，其中实体链接是将新闻中提及的指称实体与知识图谱中唯一对应实体进行匹配的关键技术。由于自然语言存在复杂的歧义性，新闻中指称实体可能在知识图谱中存在较多同名实体，同时不同的上下文信息对链接结果也会造成较大影响，这些条件使得实体链接极具挑战性。

现有方案中，主要是抽取实体在新闻中的上下文，将其与知识图谱中候选实体的描述文本联合构建深度学习模型进行相似度对比，根据相似度分数判断是否链接成功。另外还有利用分词等辅助手段计算指称实体与候选实体描述文本的分词匹配度进行判断。然而现有技术方案存在如下技术问题：

目前实体链接方法的主要问题在于往往新闻中指称实体有多段上下文，每段上下文包含了不同程度的信息，而建模时通常只使用指称实体首次出现的上下文，单一的特征使模型没有充分感知到指称实体与候选实体之间的联系与差异，导致模型学习不充分模型准确度不足；在建模中只使用了知识图谱中候选实体的描述文本，没有使用到候选实体的其他属性，比如候选实体的类别、别名等等，这些结构化属性相比纯文本能够提供明确的先验知识从而提高模型的区分度；通过分词计算匹配度的方案难以评估文本间的语义信息，泛化性不足，难以支持不同场景、语义下的新闻文本链接。

发明内容

本发明其中一个发明目的在于提供一种基于富文本特征的新闻实体链接方法和系统，所述方法和系统将原始单一的文本特征替换为由三个部分组成的富文本特征，其中富文本特征由上下文信息、知识图谱的描述文本和知识图谱的附加属性融合构建，通过多维度数据训练模型可以提高指称新闻实体和候选新闻实体差异的区分能力。

本发明另一个发明目的在于提供一种基于富文本特征的新闻实体链接方法和系统，所述方法和系统结合Attention计算让模型综合性考虑了不同描述方式下的文本语境，极大程度上提高了模型在复杂文本场景下的辨识度。

本发明另一个发明目的在于提供一种基于富文本特征的新闻实体链接方法和系统，所述方法和系统通过联合候选实体描述文本与附加属性得到富文本特征以构建深度学习分类模型并在历史海量新闻数据的基础上进行训练，从而可以提高实体连接模型分类判断的准确率。

为了实现至少一个上述发明目的，本发明进一步提供一种基于富文本特征的新闻实体链接方法，所述方法包括如下步骤：

构建候选实体的知识图谱，其中所述知识图谱包括指称实体和候选实体；

获取新闻数据，从所述新闻数据中识别指称实体，根据所述指称实体从所述知识图谱中查找候选实体；

将所述新闻数据进行分句获取上下文短句列表，筛选包含所述指称实体的所有上下文短句，生成上下文特征列表；

获取候选实体的描述文本特征和附加属性特征，构建富文本特征；

将所述富文本特征输入到二分类模型中训练，训练完毕后用于预测指称实体和候选实体的匹配的分类概率。