[发明专利]基于关联数据的自治数据湖构建系统及方法

说明书

一种基于关联数据的自治数据湖构建系统及方法，该系统包括：数据源输入模块、异构数据预处理模块、元数据发现与抽取模块、元数据融合与关联模块、元模型优化与构建模块、实例知识抽取模块、知识封装模块、知识校正与融合模块、实例概念抽取模块和元模型验证与演化模块；本发明基于关联数据，在构建数据湖的同时，生成实时更新的目录索引和可通过目录快速定位的实例知识图谱，通过其内在结构和语义关联最终得到一个具有自治能力的数据湖，使其易于被外部用户管理、检索及满足更多需求。

技术领域

本发明涉及的是一种大数据信息处理领域的技术，具体是一种面向多源异构数据的基于关联数据的自治数据湖构建系统及方法。

背景技术

在大数据时代，所有数据都具有潜在价值。数据湖是一个集中式存储库，允许以任意规模存储所有结构化、半结构化和非结构化数据。数据湖无需预先定义数据结构，可以用原始形式存储。经过长时间的积累后，缺乏治理的数据湖会成为无人可以清理的“数据沼泽”，数据变得难以理解及使用。因此，如何构建一个能全自动融合数据、实时更新数据湖模式与目录、便于外部管理和使用的数据湖，使其成为一个具有自治能力的数据湖变得至关重要。目前如何管理和使用数据湖的方法或平台有相对较多的研究和应用，但是如何减少人工干预，构建一个具有自治能力的数据湖方面，还没有很成熟的应用和技术支撑。

现有技术利用基于网络和语义驱动的相关技术，通过构建适用于数据湖的元模型，允许当前元数据模型具备执行相对复杂任务的能力。或通过在数据湖中增加多个业务流程系统，对各流程系统中的业务数据人工添加业务标签，实现数据湖的索引构建和管理，利用各业务流程系统间的内在业务逻辑，支持用户通过业务请求找到对应数据。但对于如何有效自动化处理融合持续异构数据源，深入解析数据湖中的实例数据，为其自动建立内在语义关联，构建一个自治数据湖，使其易于被外部用户管理、检索及满足更多复杂需求上依然有所欠缺。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于关联数据的自治数据湖构建方法，面向持续生成的多源数据，深入解析原始数据，实现全自动实例抽取融合和统一管理语义元模型构建，实例知识图谱不断融合新数据的同时，驱动统一管理语义元模型不断演化。统一管理语义元模型为数据湖提供全面清晰的目录索引，实时更新当前数据湖中的数据模式；实例知识图谱将原始数据进行解析封装为知识节点，深入解析和丰富原始数据。该构建方法基于关联数据，在构建数据湖的同时，生成实时更新的目录索引和可通过目录快速定位的实例知识图谱，通过其内在结构和语义关联最终得到一个具有自治能力的数据湖，使其易于被外部用户管理、检索及满足更多需求。

本发明是通过以下技术方案实现的：

本发明涉及一种基于关联数据的自治数据湖构建系统，包括：数据源输入模块、异构数据预处理模块、元数据发现与抽取模块、元数据融合与关联模块、元模型优化与构建模块、实例知识抽取模块、知识封装模块、知识校正与融合模块、实例概念抽取模块和元模型验证与演化模块，其中：数据源输入模块接收异构数据源，异构数据预处理模块对异构数据源进行预处理得到抽取规则及内容文本信息，元数据发现与抽取模块对各类结构数据进行对应的定位与元数据抽取，元数据融合与关联模块将精炼处理的元数据进行基于语义相似度和字符相似度的聚类后进行深入关联，元模型优化与构建模块通过引入领域历史知识库对现有的元数据进行扩充丰富关联与属性并进行标准元模型的构建从而生成由元数据自上而下构建得到的初始元模型，实例知识抽取模块对各类结构数据进行具体实例处理以及不同颗粒度的信息抽取，知识封装模块对实例知识抽取模块中抽取到的知识进行封装，知识校正与融合模块对封装后的知识进行词义消歧和实体匹配以解决大量知识在合并时存在的问题，保证知识的唯一性和准确性后进行知识融合处理，得到实例知识图谱，实例概念抽取模块对数据湖中的实例知识图谱进行概念抽取并对抽取得到的概念进行自动聚类后得到由实例数据自下而上生成的实例关联概念模型，元模型验证与演化模块根据实例关联概念模型对初始元模型进行验证，推动初始元模型演化，得到最终的统一管理语义元模型。

所述的自治数据湖包括：原始数据，实例知识图谱和统一管理语义元模型。