[发明专利]数据编码方法、图数据存储方法、图数据查询方法及装置

说明书

本说明书的实施例提供数据编码方法、图数据存储方法、图数据查询方法及装置。在该数据编码方法中，基于数据记录的键值对中的键对待编码数据的各个数据记录进行数据分片，所得到的各个数据分片的分片标识基于该数据分片中的数据记录的键的一致性哈希值确定。针对各个数据分片，通过使用完美哈希算法对该数据分片中的各个数据记录的键值对中的键进行完美哈希计算，确定各个数据记录在该数据分片中的片内索引。基于待编码数据的各个数据记录在对应数据分片中的片内索引，将各个数据记录的键值对记录到对应数据分片；并且针对记录有数据记录的每个数据分片，分别生成数据分片文件以及对应的完美哈希因子文件。

技术领域

本说明书实施例通常涉及数据库领域，尤其涉及基于完美哈希的数据编码方法、图数据存储方法、图数据查询方法及装置以及数据库系统。

背景技术

图数据的应用场景越来越广泛，并且图数据的数量也越来越庞大。图数据相比单一键值对格式的非图数据更加复杂。在进行图数据存储时，通常将图数据中的节点数据、边数据和邻居数据分别存储在点表、边表和邻居表中。利用现有数据存储方案进行图数据存储，不能实现较高数据查询效率。

发明内容

鉴于上述，本说明书实施例提供基于完美哈希的数据存储及图数据查询方案。利用该数据存储及图数据查询方案，通过将待存储数据以数据分片形式存储，并且使用待存储数据的键值对中的键的完美哈希值作为待存储数据在数据分片中的片内索引，所得到的片内索引占用较小的存储空间，从而使得所生成的数据分片文件具有较小尺寸，适合于在进行数据查询时加载到数据存储服务器的内存中，由此在图数据查询时避免进行IO读取，从而提升图数据查询效率。

根据本说明书实施例的一个方面，提供一种基于完美哈希的数据编码方法，包括：基于数据记录的键值对中的键对待编码数据的各个数据记录进行数据分片，所得到的各个数据分片的分片标识基于该数据分片中的数据记录的键的一致性哈希值确定；针对各个数据分片，通过使用完美哈希算法对该数据分片中的各个数据记录的键值对中的键进行完美哈希计算，确定各个数据记录在该数据分片中的片内索引；基于所述待编码数据的各个数据记录在对应数据分片中的片内索引，将各个数据记录的键值对记录到对应数据分片；以及针对记录有数据记录的每个数据分片，分别生成数据分片文件以及对应的完美哈希因子文件。

可选地，在上述方面的一个示例中，基于数据记录的键值对中的键对待编码数据的各个数据记录进行数据分片可以包括：对待编码数据中的各个数据记录的键值对中的键进行一致性哈希计算；对各个数据记录的一致性哈希值进行以数据分片数量为模数的取模处理；以及将取模结果相同的数据记录划分到同一数据分片，各个数据分片的分片标识基于对应的取模结果确定。

可选地，在上述方面的一个示例中，所述待编码数据包括图数据的点表数据，所述点表数据的每个节点数据中的图节点的节点标识和节点属性在数据编码时分别充当该节点数据的键和值。基于所述待编码数据的各个数据记录在对应数据分片中的分片索引，将各个数据记录的键值对记录到对应数据分片可以包括：基于各个节点数据在对应数据分片中的节点数据片内索引，将各个节点数据的节点标识和节点属性记录到对应数据分片。