[发明专利]为数据建立索引的系统和方法以及数据查询方法

说明书

技术领域

本发明涉及云计算技术，具体涉及一种用于为数据建立索引的系统和方法以及相应的数据查询方法。

背景技术

随着RFID、GPS等技术的发展，物联网得到了迅速的普及和广泛的应用。在物联网环境下，数以百万计的检测对象会周期性地产生数据，导致传统的关系型数据库在扩展性方面遇到了瓶颈，其系统吞吐量达不到要求。

云数据管理系统具有很好的扩展性，同时支持高度并发，是物联网数据管理的有效方案。云数据管理系统在主键(rowkey)上支持高效的点查询和范围查询。然而，对于非主键查询，则需要进行全表扫描。虽然可以利用映射-化简(Map-Reduce)技术来提高查询的效率，但是对于选择率比较低的查询来说，性能还是较差。

物联网数据往往具有多维特性。除了具有时间、空间维度的信息之外，物联网数据还包括很多其他维度的信息。此外，对物联网数据的查询大都是基于时空的多维查询。因此，在物联网应用环境中，除了要满足单个维度的快速查询之外，还需要提供高效的多维查询。

物联网数据的另外一个特点就是更新频繁。在物联网环境下，监测对象往往按照一定的时间间隔周期性地产生新的数据，数据更新非常频繁。特别地，在监测对象众多并且数据采样频率比较高的情况下，数据的并发度非常高，因而对数据管理系统的吞吐率提出较高的要求。

当前，已经提出了一种云系统中的多维数据索引方案(RT-CAN)，其专门用于多维数据的索引和查询。RT-CAN索引方案是一个基于R树(R-tree)的双层索引方案，支持多个属性上的点查询和范围查询。在每个存储节点上，针对本地数据建立相应的R-tree索引，然后按照特定的索引节点选择策略从每个局部索引中选择一部分节点发布到全局索引中。为了提高查询的速度，保证系统的可扩展性，在全局索引中采用了能够支持多维查询的覆盖网络CAN网络，在进行索引节点选择的时候采用了基于代价模型的自适应调整策略。

具体地，RT-CAN索引方案大致包括以下操作：(1)当从客户端收到一个新的数据插入请求后，通过云存储系统的接口找到对应的数据存储节点，并将数据保存到该节点上；(2)对该存储节点上建立的R-Tree结构的本地索引进行更新；以及(3)将本地索引的更新同步到全局索引。

但是，为了保持树的平衡，在数据插入的过程中，RT-CAN方案需要不断地对索引节点进行分裂调整(每次数据的插入都会触发对本地索引的更新，进而影响到全局索引)。所以，索引的维护代价非常高，尤其是对数据插入比较频繁的应用来说，索引的维护代价过高会对系统的吞吐量带来很大的影响。因此，该方案并不适合应用于物联网中。

因此，需要一种适用于物联网的数据索引系统和方法，能够针对物联网中更新频繁的多维数据实现高吞吐量操作。

发明内容

在本发明中，提出了一种同时支持频繁数据更新和高效数据查询的方案。本发明的主要思想是：在物联网应用中，监测对象的数据一旦生成就不会发生改变。另外，监测对象的空间分布往往具有不均匀性，并且在不同时间段内监测对象的空间分布也会发生变化。因此，可以考虑在时间维度上把数据分为当前时间段数据和历史时间段数据，并针对不同时间段的数据在不同的粒度上进行索引，从而减少索引更新的次数并降低索引维护的代价。另外，可以考虑数据在时间和空间分布上的不均衡性来进行数据划分。

根据本发明的一个方面，提供了一种用于为数据建立索引的系统，包括：时间段划分单元，被配置为将预定时间范围划分为多个时间段；第一索引建立单元，被配置为：针对当前时间段中的数据建立第一级别索引，每个第一级别索引包括时间段索引和子空间索引；以及第二索引建立单元，被配置为：在当前时间段之后的时间段，针对当前时间段中的数据建立第二级别索引，其中，第二级别索引比第一级别索引具有更细的粒度。

优选地，第一索引建立单元采用B+树来建立时间段索引，B+树中的每一个叶节点包含子空间索引。

优选地，第一索引建立单元采用R树来建立子空间索引。

优选地，第二索引建立单元采用R树或网格索引来建立第二级别索引，所述第二级别索引是记录级别的索引。

优选地，该系统还包括：数据存储单元，被配置为将时间和空间上相邻的数据存储在相同或相邻的存储区域中。

优选地，时间段划分单元被配置为：根据先验知识将预定时间范围划分为多个时间段，使得数据均匀分布在所述多个时间段内。