[发明专利]用于存储和查询数据的方法和系统

说明书

技术领域

本发明的实施例一般地涉及数据库领域，并且更具体地，涉及用于存储和查询数据的方法和系统。

背景技术

数据(特别是海量数据)的存储和查询始终是数据库领域的一个重要问题。近年来，随着科学计算等相关领域中的发展，这个问题变得尤为突出。作为示例，各类卫星可以拍摄地球或者其他目标物体的一个或多个区域的图像，以用于科学研究、遥感测绘、气象预报等各种目的。卫星图像数据具有相当可观的数据量，并且可能在一段时间内被连续地捕获和存储。而且，此类数据通常与不同的维度(dimension)相关联。例如，一幅卫星图像的数据至少可以与时间维度和空间维度这二者相关联。时间维度可以指示该图像被捕获的时刻或时段；空间维度可以指示该图像所包含的地理区域的范围，例如由经度坐标和维度坐标来限定。

诸如卫星图像数据的多维数据给数据的存储和查询带来了巨大挑战。较大的数据量导致数据往往必须被分布地存储在大量文件中，这增加了维护开销。而且，对此类数据的查询通常是多维度查询。换言之，在数据查询请求中包含涉及多个不同维度的查询条件。这增加了数据查询的难度和复杂性。而且，这种查询过程通常需要大量的输入/输出(I/O)操作，这不可避免地降低了查询效率，延长了响应延迟。

用于数据存储和查询的传统方案无法有效地存储和查询。例如，已知的文件系统无法支持有效的多维查询，也无法保证I/O效率。基于的“关系-实体”模型的关系数据库无法有效地存储多维数据。尽管已经提出了专门用于海量数据(例如，科学阵列数据)的数据库，然而此类数据库只能解决数据的存储问题。多维数据的多维查询仍然受制于较低的效率。

综上所述，本领域中一种更加有效的存储和查询多维数据的方案。

发明内容

一般地，本发明的实施例提供用于存储和查询多维数据的方案。

在一个方面，本发明的实施例提供一种用于存储数据的技术方案。这方面的一个实施例提供一种用于存储数据的方法，所述数据至少与第一维度和第二维度相关联。所述方法包括：至少基于所述第一维度和所述第二维度，创建用于检索所述数据的数据单元的一级索引；至少基于所述第一维度创建用于检索所述数据单元中的数据块的二级索引；以及将所述数据与所述一级索引和所述二级索引相关联地存储。

这方面的另一个实施例提供一种用于存储数据的系统，所述数据至少与第一维度和第二维度相关联。所述系统包括：一级索引创建单元，被配置为至少基于所述第一维度和所述第二维度，创建用于检索所述数据的数据单元的一级索引；二级索引创建单元，被配置为至少基于所述第一维度创建用于检索所述数据单元中的数据块的二级索引；以及存储控制单元，被配置为将所述数据与所述一级索引和所述二级索引相关联地存储。

在另一方面，本发明的实施例提供一种用于查询数据的技术方案。这方面的一个实施例提供一种用于查询数据的方法，所述数据至少与第一维度和第二维度相关联。所述方法包括：接收针对目标数据的查询请求，所述查询请求包括与所述第一维度相关联的第一查询条件以及与所述第二维度相关联的第二查询条件；基于所述第一查询条件、所述第二查询条件和用于所述数据的一级索引，检索所述数据中包含所述目标数据的目标数据单元，所述一级索引至少基于所述第一维度和所述第二维度被创建以用于检索所述数据的数据单元；以及基于所述第一查询条件和所述目标数据单元的二级索引，检索所述目标数据单元中包含所述目标数据的目标数据块，所述二级索引至少基于所述第一维度被创建以用于检索所述数据的所述数据单元中的数据块。

这方面的另一实施例提供一种用于查询数据的系统，所述数据至少与第一维度和第二维度相关联。所述系统包括：查询接收单元，被配置为接收针对目标数据的查询请求，所述查询请求包括与所述第一维度相关联的第一查询条件以及与所述第二维度相关联的第二查询条件；一级检索单元，被配置为基于所述第一查询条件、所述第二查询条件和用于所述数据的一级索引，检索所述数据中包含所述目标数据的目标数据单元，所述一级索引至少基于所述第一维度和所述第二维度被创建以用于检索所述数据的数据单元；以及二级检索单元，被配置为基于所述第一查询条件和所述目标数据单元的二级索引，检索所述目标数据单元中包含所述目标数据的目标数据块，所述二级索引至少基于所述第一维度被创建以用于检索所述数据的所述数据单元中的数据块。