[发明专利]一种面向流数据的快速索引方法、装置、设备及存储介质

说明书

本发明公开了一种面向流数据的快速索引方法，所述方法包括：接收发送过来的数据元组，并将所述数据元组组织成索引结构并且周期性的将所述数据元组写入分布式存储的数据块中；对B+树的叶子节点进行布局，所述布局包括对索引数组进行布局和对数据数组进行布局；获取查询请求，并根据所述查询请求在B+树的叶子节点的数据元组中通过二分搜索获取满足所述查询请求的数据元组的偏移量，并根据所述偏移量在所述数据元组中获取目标数据元组；对B+树进行边界更新；使用预设算法对所述目标数据元组进行优先级排序。采用本发明，可以实现数据的高速插入和提高实时检索能力。

技术领域

本发明涉及索引领域，特别是涉及一种面向流数据的快速索引方法、装置、设备及存储介质。

背景技术

对于建设智慧城市来说，物联网和智能设备是极其重要的一部分。而随着物联网传感器和有位置信息的智能设备产生的数据的爆炸性增长，对数据的高速插入和实时检索的需求也日益增加。数据的高速插入和实时检索对于支持智慧制造和智慧城市来说也是一项极其重要的数据处理能力，系统用户可以快速地找出需要的历史数据和新数据。

目前,已有的分布式数据库的性能是欠佳的，以HBase为代表的key-value存储并没有能提供很好的时间范围查询，以Druid为代表的时间序列数据库则缺少了除时间以外的第二维索引。在对现有技术的研究和实践中，本发明的发明人发现，分布式数据库主要面临以下问题：（1）无法提供流数据的高速插入；（2）对key和timestamp上的查询延时比较高。

发明内容

为了解决上述问题，本发明的目的是提供一种面向流数据的快速索引方法、装置、设备及存储介质，可以实现数据的高速插入和提高实时检索能力。

基于此，本发明提供了一种面向流数据的快速索引方法，所述方法包括：

接收发送过来的数据元组，并将所述数据元组组织成索引结构并且周期性的将所述数据元组写入分布式存储的数据块中；

对B+树的叶子节点进行布局，所述布局包括对索引数组进行布局和对数据数组进行布局；

获取查询请求，并根据所述查询请求在B+树的叶子节点的数据元组中通过二分搜索获取满足所述查询请求的数据元组的偏移量，并根据所述偏移量在所述数据元组中获取目标数据元组；

对B+树进行边界更新；

使用预设算法对所述目标数据元组进行优先级排序。

其中，对所述索引数组进行布局和对所述索引数组进行布局包括：

所述索引数组包括按照预设顺序排序后的关键值，所述关键值包括指向数据数组中对应数据元组的偏移量；

所述数据数组中数据元组的存储顺序与对应的关键值与在所述索引数组中的存储顺序一致。

其中，对B+树进行边界更新包括：

所述B+树的数据元组集合为D，倾斜度因子S（，D）取决于在划分的条件下最大的叶子节点，通过将所述数据元组重新平均分配至各个叶子节点使所述倾斜度因子最小化，通过把关键值平均地分配到l个部分的新的范围划分={,,…}：

式中，为B+树所保存的数据元组区间中的最小关键值，为B+树所保存的数据元组区间中的最大关键值，为B+树所保存的数据元组区间中的关键值，为B+树所保存的数据元组区间中的关键值数量，为当倾斜度因子超过预设阈值时，B+树所保存的数据元组区间范围；

计算出所述新的范围划分之后，根据所述新的范围划分来重新组织数据元组。

其中，索引服务器对应于键区间，来自不同键区间的数据元组并行的进行索引构造，调度服务器根据全局的数据划分方法分发数据元组至对应的索引服务器。