[发明专利]数据获取方法和装置、计算机存储介质、电子设备

说明书

本公开是关于一种数据获取方法和装置、计算机存储介质、电子设备，涉及计算机技术领域。该方法包括：访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集。本公开简化了图数据库中数据获取流程，提高了业务数据获取的效率。

技术领域

本公开实施例涉及计算机技术领域，具体而言，涉及一种数据获取方法、数据获取装置、计算机可读存储介质以及电子设备。

背景技术

JanusGraph是一种开源的图数据库，具有良好的扩展性。支持Hbase、cassandra等多种存储介质存储数据，当其采用Hbase存储数据，获取JanusGraph图数据库中的数据时，相关技术中可以通过两种方式来离线加载数据。

方式一，通过调用Hbase客户端应用程序接口，将数据获取请求发送至Hbase集群运行在每个工作节点上的服务，通过Hbase集群运行在每个工作节点上的服务来获取数据；方式二，通过读取Hbase的Hfile文件，对Hfile文件进行反序列化来获取数据。

但是，方式一会导致JanusGraph图数据库的在线读写服务的性能下降；方式二相比方式一，可以避免对Hbase集群运行在每个工作节点上的服务产生较大的压力，但是，上述两种方式都依赖JanusGraph API接口获取图元信息，通过图元信息解析实体关系，会频繁跨网络请求图元数据，导致数据获取效率低。

因此，需要提供一种新的数据获取方法。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种数据获取方法、数据获取装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据获取效率低的问题。

根据本公开的一个方面，提供一种数据获取方法，包括：

访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，对所述图元数据进行反序列化，得到目标数据；

获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据；

对所述目标业务数据与所述目标数据进行匹配，生成匹配结果集。

在本公开的一种示例性实施例中，访问分布式文件存储系统，获取所述分布式文件存储系统中的图元数据，包括：

通过图数据库的应用程序编程接口，访问所述分布式文件存储系统，获取所述分布式文件存储系统中存储的序列化的图元数据。

在本公开的一种示例性实施例中，对所述图元数据进行反序列化，得到目标数据，包括：

确定自定义图元数据解析类，对所述图元数据解析类进行初始化；

通过所述初始化的图元数据解析类对所述序列化的图元数据进行反序列化，得到目标数据；其中，所述目标数据包括自定义实体类型、自定义关系类型、自定义属性类型、保留属性以及保留关系。

在本公开的一种示例性实施例中，在得到目标数据之后，所述数据获取方法还包括：

将所述目标数据存储至基于内存的计算引擎中。

在本公开的一种示例性实施例中，获取所述分布式文件存储系统中的业务数据文件，对所述业务数据文件进行解析，得到目标业务数据，包括：

确定与所述图数据库对应的后端数据存储介质；