[发明专利]图数据的入库方法、装置、设备及可读存储介质

说明书

本发明公开了一种图数据的入库方法、装置、设备及可读存储介质，属于大数据技术领域。方法包括：加载图数据的顶点数据，将所述顶点数据并行批量导入数据库；记录每个顶点数据在所述数据库的标识值与边数据的顶点标识符的映射关系，所述边数据的顶点标识符用于描述边数据两端的顶点数据；加载所述图数据的边数据，根据所述映射关系将所述边数据并行批量导入所述数据库。本发明通过将顶点数据并行批量导入数据库，可提高顶点数据的导入速度，且在导入顶点数据后，通过记录顶点数据在数据库的标识值与边数据的顶点标识符的映射关系，基于该映射关系导入边数据，降低了查询数据库的次数，可进一步提高边数据的导入速度，进而提高图数据的导入效率。

技术领域

本发明涉及大数据技术领域，特别涉及一种图数据的入库方法、装置、设备及可读存储介质。

背景技术

随着大数据技术的发展，涉及的数据处理越来越频繁，图数据的入库便是其中一种。图数据由顶点数据和边数据组成，顶点数据用于表示实体，而边数据则用于描述顶点数据间的关系。对于大规模的图数据如何入库，成为了大数据技术领域人们十分关注的问题。

相关技术中，图数据的入库方法为：先将图数据的顶点数据逐个导入到数据库，再逐个导入边数据。在边数据的导入过程中，通过解析边数据的两端顶点数据的属性，查询对应顶点数据在数据库内的标识(id)值，根据查询到的顶点数据的id值逐个插入边数据。

由于图数据的顶点数据和边数据的入库均采用串行方式逐个导入，耗时长，入库效率低；且在边数据的入库过程中，需要不断地在数据库中查询顶点数据的id值，导致增加了访问次数和网络传输时间，进一步降低了图数据入库的效率。

发明内容

本申请实施例提供了一种图数据的入库方法、装置、设备及可读存储介质，以解决相关技术中图数据入库耗时长，入库效率低的问题。所述技术方案如下：

提供了一种图数据的入库方法，所述方法包括：

加载图数据的顶点数据，将所述顶点数据并行批量导入数据库；

记录每个顶点数据在所述数据库的标识值与边数据的顶点标识符的映射关系，所述边数据的顶点标识符用于描述边数据两端的顶点数据；

加载所述图数据的边数据，根据所述映射关系将所述边数据并行批量导入所述数据库。

可选地，所述将所述顶点数据并行批量导入数据库，包括：

对所述顶点数据进行分区，得到一个或多个顶点分区；

对于任一顶点分区，根据所述图数据的格式信息对所述任一顶点分区内的顶点数据进行解析，将解析后的顶点数据并行批量导入数据库。

可选地，所述对所述顶点数据进行分区，得到一个或多个顶点分区，包括：

获取配置的顶点分区内的顶点数据的数量；

根据所述配置的顶点分区内的顶点数据的数量，对所述顶点数据进行分区，得到一个或多个顶点分区。

可选地，所述根据所述映射关系将所述边数据并行批量导入所述数据库，包括：

对所述边数据进行分区，得到一个或多个边分区；

根据所述映射关系，将所述边分区内的边数据并行批量导入数据库。

可选地，所述根据所述映射关系，将所述边分区内的边数据并行批量导入数据库，包括：

对于任一边分区，根据所述图数据的格式信息对所述任一边分区内的边数据进行解析，得到所述任一边分区内的边数据的顶点标识符；

根据所述任一边分区内的边数据的顶点标识符查询所述映射关系，得到所述任一边分区内的边数据两端的顶点数据在数据库的标识值；