[发明专利]一种多源异构数据的语义数据湖构建方法

说明书

本发明公开了一种多源异构数据的语义数据湖构建方法，包含以下步骤：S1、构建本体，确认本体的属性和参数，存到数据湖服务器的图数据库中；S2、提取导入的数据文件的内容的语义，建立RDF描述，并将建立好的RDF描述保存到数据湖服务器的文档型数据库中；S3、根据RDF描述并参照相关本体，将RDF描述所对应的文件与本体实现语义层级的关联，并写入图数据库中。本发明可展示语义数据的节点关系，还能处理本体数据以及处理与本体关联的数据文件，实现人工可干预的操作，语义数据湖检索便利，还能方便进一步详细获取检索结果文件。

技术领域

本发明涉及多源异构数据的收集与管理和应用领域，特别涉及一种多源异构数据的语义数据湖构建方法。

背景技术

数据库技术是现代计算机信息系统和计算机应用系统的基础和核心，是信息系统的重要组成部分。在进行数据库应用系统开发时，通常需要将数据库数据导出以用于本系统备份或与其它系统进行数据共享和交换。

数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS(Hadoop分布式文件系统)廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。数据湖的一部分价值是把不同种类的数据汇聚到一起，另一部分价值是不需要预定义的模型就能进行数据分析。现在的大数据架构是可扩展的，并且可以为用户提供越来越多的实时分析。数据湖架构面向多数据源的信息存储，包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。

为了可以解决语义检索的复杂性与便利性的问题，实现自动化建立，检索便利，则需要提供一种多源异构数据的语义数据湖构建方法，使得可以展示语义数据的节点关系，还能处理本体数据以及处理与本体关联的数据文件。

发明内容

本发明的目的在于提供一种多源异构数据的语义数据湖构建方法，通过构造图数据库本体并确认本体属性和参数，保存到图数据库中，并建立与本体相关的文件的RDF描述，保存到文档型数据库，根据RDF描述并参照已有图数据库本体以及属性，建立本体与相关的文件的RDF关联，并写入文档型数据库，可以展示语义数据的节点关系，还能处理本体数据以及处理与本体关联的数据文件，实现本发明人工可干预的操作，语义数据湖检索便利，还能方便进一步详细获取检索结果文件。

为了达到上述目的，本发明提供了一种多源异构数据的语义数据湖构建方法，该方法包含以下步骤：

S1、构建本体，确认本体的属性和参数，存到数据湖服务器的图数据库中；

S2、提取导入的数据文件的内容的语义，建立RDF描述，并将建立好的RDF描述保存到数据湖服务器的文档型数据库中；

S3、根据RDF描述并参照相关本体，将RDF描述所对应的文件与本体实现语义层级的关联，并写入图数据库中。

优选地，所述RDF描述包含节点和边，其中，节点表示实体/资源/属性，边表示实体和实体之间的关系以及实体和属性的关系。

优选地，所述数据湖服务器是包含关系型数据库、文档型数据库、分布式文件系统和图数据库这四类数据库的数据存储和管理服务平台，该平台采用分布式运算和存储架构，集成了具有数据存储和运算功能的各类计算机单机、服务器和计算机集群/服务器集群，并提供包括数据管理、算法开发在内的各类功能组件。

优选地，所述数据存储和管理服务平台通过日志文件和元数据文件，对数据文件及其存储、交换进行组织管理；其中，所述日志文件包含的日志记录数据，以键值对的形式存在，包含对应以下内容的字段：

当前操作的操作者名称；

当前操作的类型；