[发明专利]缓存装置、基于缓存装置实现图查询的方法和系统

说明书

本申请涉及一种缓存装置、基于缓存装置实现图查询的方法和系统，其中，该缓存装置包括block缓存区、vertex缓存区和negative缓存区，其中，block缓存区为KVS存储引擎内部的缓存区；block缓存区，用于缓存图数据的key‑value值，快速访问KVS存储引擎的meta信息和边信息；vertex缓存区，用于缓存点的key和属性；negative缓存区，用于缓存无属性存在的点的key。通过本申请，解决了相关技术中的图查询问题，提高了cache缓存的空间利用率，降低了性能开销。

技术领域

本申请涉及图查询领域，特别是涉及缓存装置、基于缓存装置实现图查询的方法和系统。

背景技术

在当今大数据时代，产生和消费的数据纷繁复杂，其中，绝大部分数据为非结构化数据。对于非结构化数据，Key Value Store (简称KVS)是最适用的存储引擎，常见的KVS包括LevelDB，RocksDB等。为了满足当今每秒海量数据的访问，KVS通常都会提供一个blockcache缓存来加速对于底层磁盘的访问。

然而，现有的KVS中的cache缓存装置并不能很好的满足图查询的以下两个特征：1、点的空间局部性较差；2、存在大量对于不存在key的访问。具体地，第一，由于blockcache是以block为基本操作单位，一个block往往比一个点大很多，因此在存储时，会产生单位大小的不匹配，而这种不匹配在点的空间局部性差的情况下，会导致cache缓存缺失的比例变高和cache缓存空间的使用效率低。第二，虽然KVS往往会使用bloom filter来加速过滤一些不存在的key，但其开销还是不可忽略，尤其对于一些讲究高性能的图数据查询。此外，该性能开销还会随着数据量的增加而增加，比如，对于RocksDB来说，对于一个不存在的key需要对LSM tree的每一层都进行查询才能确定这个key不存在。而对于每一层的查询主要包括key range的比较和bloom filter的查询，因此至少需要访问两次内存。而这个开销会随着数据的增加而线性增长。此外，考虑到图数据上的点和边可能有多个schema，如果绝大部分点或者边只有一个或者少数的schema上有数据，那么通过上述方法在进行图查询时，会导致对不存在的key的查询远远多于对存在的key的查询，浪费了大量的性能资源。

因此，针对上述相关技术中的图查询问题，亟需提出有效的解决方案。

发明内容

本申请实施例提供了一种缓存装置、基于缓存装置实现图查询的方法和系统，以至少解决相关技术中的图查询问题。

第一方面，本申请实施例提供了一种用于图查询的缓存装置，所述缓存装置包括block缓存区、vertex缓存区和negative缓存区，其中，所述block缓存区为KVS存储引擎内部的缓存区；

所述block缓存区，用于缓存图数据的key-value值，快速访问KVS存储引擎的meta信息和边信息；

所述vertex缓存区，用于缓存点的key和属性；

所述negative缓存区，用于缓存无属性存在的点的key。

在其中一些实施例中，在给定可用内存的情况下，

系统预设所述缓存装置中block缓存区、vertex缓存区和negative缓存区的内存分配优先级比例，

或者，通过预设时间内的缓存运行统计信息，调整所述缓存装置中block缓存区、vertex缓存区和negative缓存区的内存分配优先级比例。

在其中一些实施例中，通过所述缓存装置的优先级比例，判断是否将最新的数据写入缓存或者将最少访问的数据换出缓存。

在其中一些实施例中，通过锁对所述缓存装置中的数据读写操作进行锁定。

在其中一些实施例中，所述缓存装置位于storage存储层。