[发明专利]基于超算的多源异构图数据融合方法及系统

说明书

本公开提供了一种基于超算的多源异构图数据融合方法及系统，涉及多源异构图数据处理技术领域，采用虚拟化服务器通过镜像模拟知识本体构建工具的运行环境，并以数据服务接口的方式将多个知识本体构建方法进行统一整合，能够集成知识标注、知识抽取、知识融合等图数据处理工具，实现多源异构数据的图数据融合，并且采用大规模知识图谱分布式存储方式，实时存储解析后的多源异构数据；对历史存储的多源异构数据进行统计分析，得到统计分析结果并进行可视化展示，其数据融合自动化程度高、融合速度快，可拓展性强，可支撑一站式图数据处理操作，另外，采用虚拟化技术完成各种工具环境部署，具有算力强大、硬件条件高、安全性高、性能优越的特点。

技术领域

本公开涉及多源异构图数据处理技术领域，特别涉及一种基于超算的多源异构图数据融合方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

随着科技的迅速发展，各类数据的体量和规模正在呈指数级增加。其中，图数据是一种较为新颖的数据模式，常见的图数据包括生活中的社交网络、交通网络、金融网络，生物医药领域的分子图结构、生物医药图数据等，具备超大规模、时序性、动态性、多模态等特点。

面对超大规模多模态异构图数据，如何快速完成数据处理、数据融合等操作，这一直是业界的难点。通常情况下，个人电脑和单节点服务器无论是在处理器、内存还是存储等方面，均无法满足超大规模多模态异构数据处理与融合的需求。虽然在现有的技术方案下，已经出现了诸多本体构建工具、数据解析工具、数据融合工具，但是以上工具间的协调性太差，无法形成一栈式数据融合框架，同时也面临算力短缺的问题，这极大影响了数据处理与数据融合的效率。

当前，常用件的图数据处理框架有RDKit、DeepChem、DGL、 DeepPurpose、OGB(OpenGraph Benchmark)基准数据集、AutoGL、OpenChem、 PGL、GraphNets、ScaffoldGraph、TDC、TorchMD、图神经网络库(PyTorch Geometric, PYG)、APOC等。虽然现有的图数据处理框架已经获得了蓬勃发展，但也面临通用性低、碎片化严重等方面的问题，同时，以上图数据处理框架普遍存在资源消耗大、算力不足等方面的问题。

发明内容

为了解决现有技术的不足，本公开提供了一种基于超算的多源异构图数据融合方法及系统，通过模拟知识本体构建工具的运行环境，集成知识标注、知识抽取、知识融合等图数据处理工具，实现多源异构数据的图数据融合，并对解析后的多源异构数据进行分布式存储，以及可视化展示，其具有数据融合自动化程度高、数据融合速度快，可拓展性强，可支撑一站式图数据处理操作的特点。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于超算的多源异构图数据融合方法，包括：

获取多源异构数据，并存储于数据载体中；

对所述多源异构数据进行知识标注、知识抽取、知识融合，构建基于本体的知识图谱，确定所述知识图谱构建过程中知识本体构建工具的运行环境，采用虚拟化服务器通过镜像模拟各运行环境，并以数据服务接口的方式将多个知识本体构建方法进行统一整合，得到所述多源异构数据的解析结果；

采用大规模知识图谱分布式存储方式，实时存储解析后的多源异构数据；

对历史存储的多源异构数据进行统计分析，得到统计分析结果并进行可视化展示。

作为可能的一些实现方式，所述多源异构数据包括结构化数据和非结构化数据；对于结构化数据，对本体数据进行解析，实时获取互联网数据进行增量更新。

作为可能的一些实现方式，采用分布式混合图数据存储模式对多源异构数据进行存储，具体包括：文件系统的数据采用MongoDB分布式存储；关系型数据采用Neo4J存储；属性类数据采用mysql存储。