[发明专利]一种多源数据的知识图谱扩展融合方法

权利要求书

1.一种多源数据的知识图谱扩展融合方法，其特征在于：包括如下步骤：

步骤一、多源数据的采集；

采用网页爬虫对多个公开或者半公开的数据源中的数据进行采集；

步骤二、多源数据的解析抽取；

将爬取来每个数据源的数据按照RDF模型进行反向解析，并抽取其中的实体、关系以及属性，随后按照相同的格式进行暂存；

步骤三、多源数据的比对整合；

将按照相同格式的暂存的多源数据进行实体、关系以及属性的比对，梳理其相关性，并按照相关性进行分组整合；

步骤四、与自身数据库的进行对比；

当相关性高的分为一组时，直接利用该组相关性的特征与自家数据库中的数据进行遍历比对，再次判断相关性，若相关性高，则与自家数据库中该数据放置在同一组，若相关性不高，则在自家数据库中以该数据的组为中心按照相关度由高到低放置；与自家数据库中该数据放置在同一组，若相关性不高，则在自家数据库中以该数据的组为中心按照相关度由高到低单独成一组放置；

当相关性不高时单独分为一组，直接利用自身的特征与自家数据库中的数据进行遍历比对，再次判断相关性，若相关性高，则与自家数据库中该数据放置在同一组，若相关性不高，则在自家数据库中以该数据的组为中心按照相关度由高到低单独成一组放置。

2.如权利要求1所述的一种多源数据的知识图谱扩展融合方法，其特征在于：其中步骤一中：数据来源即可以为通过构建网页爬虫抽取百度百科、互动百科中相关的信息数据集，数据采用JSON格式存储，针对百科类网页数据的抽取，构建一套基于WebMagic框架的数据爬虫系统，通过编写正则表达式来获取网页中的信息数据，还可以为来自政府或者相关联企业的数据库。

3.如权利要求1所述的一种多源数据的知识图谱扩展融合方法，其特征在于：其中步骤二中：对多源数据中的结构化数据，通常是关系型数据库的数据，数据结构清晰，采用D2R技术把关系型数据库中的数据转换为RDF数据(linked data)即可。

4.如权利要求1所述的一种多源数据的知识图谱扩展融合方法，其特征在于：其中步骤二中：对多源数据中半结构化数据，主要是指那些具有一定的数据结构，但需要进一步提取整理的数据，比如百科的数据，网页中的数据，对于这类数据，主要采用包装器的方式进行处理。

5.如权利要求1所述的一种多源数据的知识图谱扩展融合方法，其特征在于：其中步骤二中：对多源数据中非结构化的文本数据，我们可以采用机器深度学习模型以及其他的方式进行知识的实体、关系、属性的抽取。

6.如权利要求1所述的一种多源数据的知识图谱扩展融合方法，其特征在于：其中步骤三中：相同的格式为各行各业对应的标准的记录格式，如日期的记录格式、长宽高的记录格式。

7.如权利要求1所述的一种多源数据的知识图谱扩展融合方法，其特征在于：其中步骤三和步骤四中：关于相关性比对的方式：发明的实体相似度是由实体的文本相似性和属性相似度综合计算出的，计算公式如下：其中，ea和eb是两个实体，Context_Sim(ea，eb)为实体间的文本相似度，Property_Sim(ea，eb)为实体间的属性相似度，取平均得到二者的实体相似度Sim(ea，eb)。