[发明专利]一种融合Wikidata的实体对齐方法

说明书

本发明公开了一种融合Wikidata的实体对齐方法，属于自然语言处理技术领域，该方法通过数据预处理，根据Wikidata中标签信息及具体业务数据进行分组，具体到每个分组，对业务数据中的每个实体和Wikidata中每个实体构建匹配对，通过计算相似度选择匹配实体对。本发明可以支撑数据融合及检索需求，实现Wikidata数据与业务数据的真正融合，提高检索效率。

技术领域

本发明涉及自然语言处理技术领域，具体地说是一种融合Wikidata的实体对齐方法。

背景技术

在医疗、教育等知识密集型的业务领域，往往需要构建基于互联网内容的搜索查询系统，其中一个解决方法是通过将业务结构化数据和Wikidata等百科类数据融合，为结构化数据和Wikidata数据建立关联关系，实现对Wikidata数据的覆盖，支撑后续检索及分析等需求。但目前使用的方法并不能很好的实现Wikidata数据与业务数据的真正融合，限制了应用时的检索效率。

发明内容

本发明的技术任务是针对以上不足之处，提供一种融合Wikidata的实体对齐方法，可以支撑数据融合及检索需求，实现Wikidata数据与业务数据的真正融合，提高检索效率。

本发明解决其技术问题所采用的技术方案是：

一种融合Wikidata的实体对齐方法，通过数据预处理，根据Wikidata

中标签信息及具体业务数据进行分组，具体到每个分组，对业务数据中的每个实体和Wikidata中每个实体构建匹配对，通过计算相似度选择匹配实体对。

进一步的，针对未匹配到结果的业务实体，去CN-Dbpedia匹配实体，并利用Wikidata和CN-Dbpedia间映射关系将业务实体匹配到Wikidata中对应实体。

CN-DBpedia是由复旦大学知识工场实验室研发并维护的大规模通用领域结构化百科。CN-DBpedia主要从中文百科类网站(如百度百科、互动百科、中文维基百科等)的纯文本页面中提取信息，经过滤、融合、推断等操作后，最终形成高质量的结构化数据，供机器和人使用。

进一步的，在业务数据模型的基础上，构建融合Wikidata数据的数据模型增加数值类型属性以及数据标签。

优选的，所述增加数值类型属性，取值范围包括时间、复合属性、原始属性、地理坐标、实体以及数量，针对每种取值类型构建相应的数据模型。

优选的，所述数据标签包括媒体文件、文档、站外链接、页面文件、页面模板应用、页面模板文件以及内容管理等，以存放不同种类的Wikidata数据。

优选的，所述预处理，基于业务数据质量问题进行数据处理，包括数据规范化、同义词处理、特殊字符以及停用词处理。

通过数据规范化统一数据格式，通过同义词词林构建同义词，并对重复值、特殊字符、空格等进行处理。

进一步的，所述分组采用最小化组内数量的策略，只匹配组内的实体，以提高匹配效率。

优选的，通过词别级的TF-IDF进行提取特征，并计算预先相似度，选择匹配实体对。

TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Frequency)，IDF是逆文本频率指数(InverseDocument Frequency)。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。