[发明专利]图数据查询任务处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种图数据查询任务处理方法、装置、计算机设备和存储介质。所述方法包括：获取图数据集和图数据查询任务集，图数据集为分布式存储于多台机器节点的图数据结构的集合，识别图数据集的图数据类型，根据图数据类型，计算图数据查询任务集中两两查询任务间的相似度或差异度，基于两两查询任务间的相似度或差异度，将图数据查询任务集划分为多个图数据查询任务子集，将图数据查询任务子集输入预设分布式图查询系统，得到对应的查询结果。采用本方案解决了在分布式系统中处理批量任务时的负载均衡问题，同时优化了串行执行查询任务低效问题和并行资源利用率低的问题，提高查询任务执行效率，缓解查询实时性需求问题。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种图数据查询任务处理方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术和电子信息化的迅速发展，各领域信息量成爆炸式增长，且人们对于数据传输数据处理的需求也日益提高。图(graph)作为一种数据存储结构，可有效表达各类信息，人们对于很多图相关任务的实时性要求也越来越高，如实时舆论检测、产品推荐等，基于硬盘的计算模式I/O(Input/Output)速度慢也影响用户体验。因此，需要利用内存高速I/O特性进行优化，但单台机器内存无法满足如此大规模的、结构复杂的图数据存储需求，于是基于分布式的图计算方式应运而生。

然而，目前的分布式图计算系统，通常是针对大规模图计算任务处理，对于轻量级的图数据查询任务(如批个性化图查询任务)通常也是以pipeline的方式按序将任务输入系统中执行，任务之间的差异性仍然会影响任务的执行，使得图数据查询任务的执行效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高图数据查询任务执行效率的图数据查询任务处理方法、装置、计算机设备和存储介质。

一种图数据查询任务处理方法，所述方法包括：

获取图数据集和图数据查询任务集，图数据集为分布式存储于多台机器节点的图数据结构的集合；

识别图数据集的图数据类型；

根据图数据类型，计算图数据查询任务集中两两查询任务间的相似度或差异度；

基于两两查询任务间的相似度或差异度，将图数据查询任务集划分为多个图数据查询任务子集；

将图数据查询任务子集输入预设分布式图查询系统，得到对应的查询结果。

在其中一个实施例中，图数据类型包括稠密图和稀疏图；

根据图数据类型，计算图数据查询任务集中两两查询任务间的相似度或差异度包括：

当图数据类型为稠密图时，则计算图数据查询任务集中两两查询任务间的相似度；

当图数据类型为稀疏图时，则计算图数据查询任务集中两两查询任务间的差异度。

在其中一个实施例中，计算图数据查询任务集中两两查询任务间的相似度包括：

获取图数据查询任务集中两两查询任务对应的查询点以及各查询点的邻节点；

基于查询点以及各查询点的邻节点，计算两两查询任务间的相似度。

在其中一个实施例中，计算图数据查询任务集中两两查询任务间的差异度包括：

获取图数据查询任务集中两两查询任务对应的查询点；

从预设顶点嵌入向量集中选取出与查询点对应的查询点嵌入向量；

基于选取出的查询点嵌入向量，计算两两查询任务间的差异度。

在其中一个实施例中，从预设顶点嵌入向量集中选取出与查询点对应的查询点嵌入向量之前，还包括：