[发明专利]多层级数据分页查询方法、装置、数据查询系统及介质

说明书

本申请涉及一种多层级数据分页查询方法、装置、数据查询系统及存储介质，该方法包括：获取查询条件，所述查询条件包括第一查询范围以及分页数；基于所述分页数以及页面容量，确定待查询数据在第一数据集中的第一偏移量；所述第一数据集基于所述第一查询范围所确定；基于所述第一偏移量，根据查询层级由高到低依次查询，直到确定所述待查询数据在第二数据集中的第二偏移量；所述第二数据集基于最低查询层级所对应的第二查询范围所确定；基于所述第二偏移量，获取所述待查询数据，在占用内存资源极少的情况下高效获取与分页数对应的数据，完成分页查询，解决了相关技术中存在的查询数据量较大超出内存限制的问题。

技术领域

本申请涉及数据查询技术领域，特别是涉及一种多层级数据分页查询方法、装置、数据查询系统及存储介质。

背景技术

大数据技术通过对海量数据的充分挖掘和分析，辅助各个行业进行合理决策，其中数据的存储以及检索起到非常重要的作用。这期间涌现出很多面向数据仓库的数据库，例如vertica、hive、clickhouse等。其中，clickhouse以其领先于其他数据库的压缩比以及查询写入速度应用于各种大型程序中，以适应对实时性和存储能力要求较为苛刻的环境。其独特的分区、稀疏索引、顺序写入以及跳数索引等特性，使其查询能规避大量无效数据的检索，查询性能出色。

虽然clickhouse自身的查询模式十分先进，但是当数据量级较大且资源供给比较紧张的情况下，使用传统的主键查询可能还是会超出内存限制。例如在每秒写入量60万条的情况下，以时间作为排序主键，查询近一小时的数据并支持分页查询时，如果使用传统的sql查询，当查询结果超出50万条的范围时，查询将变得十分缓慢；超过100万条的范围时，有极大可能直接超出内存限制，查询出错。针对相关技术中存在的查询数据量较大超出内存限制的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种多层级数据分页查询方法、装置、数据查询系统及存储介质，以解决相关技术中存在的查询数据量较大超出内存限制的问题。

第一个方面，在本实施例中提供了一种多层级数据分页查询方法，所述方法包括：

获取查询条件，所述查询条件包括第一查询范围以及分页数；

基于所述分页数以及页面容量，确定待查询数据在第一数据集中的第一偏移量；所述第一数据集基于所述第一查询范围所确定；

基于所述第一偏移量，根据查询层级由高到低依次查询，直到确定所述待查询数据在第二数据集中的第二偏移量；所述第二数据集基于最低查询层级所对应的第二查询范围所确定；

基于所述第二偏移量，获取所述待查询数据。

在其中的一些实施例中，所述基于所述第一偏移量，根据查询层级由高到低依次查询，直到确定所述待查询数据在第二数据集中的第二偏移量包括：

基于预设的每一查询层级对应的分段查询条件，确定所述查询层级对应的数据集的分段结果；

基于所述待查询数据在所述数据集中的偏移量，以及所述数据集的分段中数据条目的数量，确定所述待查询数据所在的目标分段以及在所述目标分段中的分段偏移量；

将所述目标分段作为下一查询层级的数据集，将所述分段偏移量作为下一查询层级中所述待查询数据的偏移量，重复上述步骤，直至确定最低查询层级中所述待查询数据所在的第二数据集以及在所述第二数据集中的第二偏移量。

在其中的一些实施例中，所述基于预设的每一查询层级对应的分段查询条件，确定所述查询层级对应的数据集的分段结果包括：

基于所述查询层级对应的分段查询条件，将所述查询层级对应的查询范围分为至少两个区间；

基于所述至少两个区间的查询范围查询，将所述数据集分为对应的至少两个数据分段，并获取所述数据分段所包含的数据条目数量。