[发明专利]一种多源异构数据的能源优化提升方法

说明书

本发明涉及数据收集与管理技术领域，且公开了一种多源异构数据的能源优化提升方法，包括以下步骤，第一步：接收和构建数据湖库库库库，接收多源异构数据并构建本体，第二步：提取导入的数据文件的内容的语义，第三步：根据RDF描述并参照相关本体，第四步：通过查询器根据所述索引进行查询，本发明优化数据录入和查询，语义检索的复杂性与便利性的问题，实现自动化建立，检索便利，能够接收不同来源和不同结构的数据，并将其同构化，大大提高了语义化和用户体验和效率。

技术领域

本发明涉及数据收集与管理技术领域，尤其涉及一种多源异构数据的能源优化提升方法。

背景技术

在互联网时代，企业对于数据的存储、使用、安全等方面非常重视，很多业务展开是基于数据驱动的，数据就是企业的核心，大数据环境下，企业面临多样的数据结构：关系型的数据库、文件数据、No-SQL类型、流式数据、倒排索引；数据源也是丰富的：一个企业通常会存在多个关系型数据库；不同部门的不同类型的文件会存储在不同地方，例如由于信息系统不稳定、入库规则复杂，分析试验中心有5万张铸体薄片图像，未能及时入库；给科研人员使用薄片数据进行油气藏研究带来了不便。上级部门要求将这些照片数据整理入库，经过提取井名、深度、与数据库中样品批号配对、标准化照片名称、剔除重复照片、剔除现有数据库中已有照片、录入照片索引信息、上传照片文件等多个步骤；数据整理工作繁琐、工作量巨大。

为此，我们提出一种多源异构数据的能源优化提升方法。

发明内容

本发明主要是解决上述现有技术所存在的技术问题，提供一种多源异构数据的能源优化提升方法。

为了实现上述目的，本发明采用了如下技术方案，一种多源异构数据的能源优化提升方法，包括以下步骤：第一步：接收和构建数据湖库库库库，接收多源异构数据，通过mapper将所述多源异构数据映射为同构数据并建立索引，构建本体，确认本体的属性和参数，并进一步添加本体的属性参数描述，存到数据湖库库库服务器的图数据湖库库库中；

第二步：提取导入的数据文件的内容的语义，建立RDF描述，并将建立好的RDF描述保存到数据湖库库库服务器的文档型数据库中；

第三步：根据RDF描述并参照相关本体，将RDF描述所对应的文件与本体实现语义层级的关联，并写入图数据库中；

第四步：通过查询器根据所述索引进行查询；

作为上述方案的进一步限定，所述映射步骤包括：

配置步骤：对所述多源异构数据的每一类源数据配置一张mapper表；

映射完成步骤：通过映射器根据所述mapper表将所述源数据映射为table结构；

索引建立步骤：对所述table结构的数据建立所述索引。

作为上述方案的进一步限定，所述映射期间原始字段field会映射为相应的table字段field，且所述原始字段field与所述table字段field关系是一一对应。

作为上述方案的进一步限定，所述映射完成步骤还包括：使用json数据格式维护映射关系，将源数据字段：id、origin_name、origin_desc分别映射为id、table_name、table_desc

作为上述方案的进一步限定，所述索引建立步骤中，选择table主键字段或其他任何唯一值字段建立所述索引。

作为上述方案的进一步限定，所述RDF描述包含节点和边，其中，节点表示实体/资源/属性，边表示实体和实体之间的关系以及实体和属性的关系。