[发明专利]一种中心连通子图的多源异构数据实体识别方法及系统

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种中心连通子图的多源异构数据实体识别方法及系统。

背景技术

数据融合是大数据治理的一个重要环节。在异构割裂的多源数据环境下，数据集成与融合的一个关键任务是找到各个数据源中是否存在相同的数据实体或者信息个体，以及可能存在的数据或信息之间的关联关系，从而打通数据之间的关联性，解决数据异质性使信息实体更加完善，丰富和统一。因而，实体作为信息载体的基本单元，描述着一个物理世界对应概念的各方面，在前文描述数据融合的场景下，关键目标在于在相互连通的数据网络中识别和发现信息尽可能完善统一的实体。

现有技术方案：在文本数据分析领域，大部分技术方案是针对命名实体进行识别，就是识别文本语料中的人名，地名，组织结构名等命名实体，主要的方法有：（1）基于规则和词典的方法：利用领域专家手工构造的规则模板，选用词法特征，以模式和字符串相匹配为主要手段进行识别；（2）基于统计机器学习方法：常见方法有隐马尔科夫模型、最大熵、支持向量机和条件随机场等方法，主要过程是通过对训练语料所包含的语言信息进行统计分析，从训练语料中挖掘出特征，利用这些特征进行命名实体识别；（3）混合方法：使用基于规则和统计分析方法相结合；（4）基于深度学习的模型识别方法：近年来，由于深度学习的不断发展，在文本处理方法表现出强大的效果和性能，因此使用深度学习方法做命名实体识别也成为研究热点。

在结构化数据分析领域，针对关系型数据库，传统的实体构建和识别方法是利用逆向工程的思维进行的。主要的技术方法有：（1）利用关系型数据库中数据表结构模式，借助模式图解的方法。将表中的各个属性（字段）描述出来，再描述表与表之间的依赖关系，最后表达整个数据库的ER模型。（2）利用软件文档和数据库操作语句的方法。利用软件设计过程中，数据库的设计文档以及数据库以及表的创建和操作语句，恢复整个数据库的ER模型，从而实现实体识别。

现有技术存在的问题或缺点：文本数据分析领域主要针对的是命名实体识别，也就是识别文本中包含的实体名称，如人名，地名，机构名等。本发明中针对的实体，是对应现实世界中的一个物理概念，包括属性，关系等多个方面信息。在现有的结构化数据实体识别的技术方案中，存在的缺点有：（1）单数据源结构化数据实体识别方法：传统的利用数据库逆向工程的方法，都是针对单一数据库的，不能有效应对大数据应用场景下的多源数据融合实体的识别；（2）传统的利用模式图解方式还原实体模型的方式，能够关联的属性局限在能够有效匹配的字段或相同字段，这样难以发现和识别信息更全面，内涵更丰富的跨源数据实体。

发明内容

为了解决上述技术问题，本发明的目的是提供一种能识别出更具表达意义数据实体的一种中心连通子图的多源异构数据实体识别方法及系统。

本发明所采取的技术方案是：

一种中心连通子图的多源异构数据实体识别方法，包括以下步骤：

对给定图中识别发现所有中心连通子图，即得到实体候选集；

根据实体候选集和预设的逻辑规则，对实体候选集中的中心连通子图进行过滤和匹配，得到与业务逻辑相匹配的中心连通子图。

作为所述的一种中心连通子图的多源异构数据实体识别方法的进一步改进，所述的对给定图中识别发现所有中心连通子图，即得到实体候选集，这一步骤具体为：

将预设某个节点作为连通子图的中心节点，查找连接到该中心节点的其他节点，构成一个子图，得到中心连通子图；

遍历给定图的所有的点，将每个点预设为中心节点，直到识别发现给定图的所有中心连通子图。

作为所述的一种中心连通子图的多源异构数据实体识别方法的进一步改进，所述的根据实体候选集和预设的逻辑规则，对实体候选集中的中心连通子图进行过滤和匹配，得到与业务逻辑相匹配的中心连通子图，这一步骤具体为：

根据实体候选集中的中心连通子图的节点和边，按照预设的逻辑规则，对实体候选集中的中心连通子图进行过滤和匹配，得到与业务逻辑相匹配的中心连通子图。

本发明所采用的另一技术方案是：

一种中心连通子图的多源异构数据实体识别系统，包括：

识别单元，用于对给定图中识别发现所有中心连通子图，即得到实体候选集；

匹配单元，用于根据实体候选集和预设的逻辑规则，对实体候选集中的中心连通子图进行过滤和匹配，得到与业务逻辑相匹配的中心连通子图。

作为所述的一种中心连通子图的多源异构数据实体识别系统的进一步改进，所述识别单元具体包括：