[发明专利]一种面向流数据的快速索引方法、装置、设备及存储介质

权利要求书

1.一种面向流数据的快速索引方法，其特征在于，包括：

接收发送过来的数据元组，并将所述数据元组组织成索引结构并且周期性的将所述数据元组写入分布式存储的数据块中；

对B+树的叶子节点进行布局，所述布局包括对索引数组进行布局和对数据数组进行布局；

获取查询请求，并根据所述查询请求在B+树的叶子节点的数据元组中通过二分搜索获取满足所述查询请求的数据元组的偏移量，并根据所述偏移量在所述数据元组中获取目标数据元组；

对B+树进行边界更新；

使用预设算法对所述目标数据元组进行优先级排序；

其中，对所述索引数组进行布局和对所述数据数组进行布局包括：

所述索引数组包括按照预设顺序排序后的关键值，所述关键值包括指向数据数组中对应数据元组的偏移量；

所述数据数组中数据元组的存储顺序与对应的关键值与在所述索引数组中的存储顺序一致；

对B+树进行边界更新包括：

所述B+树的数据元组集合为D，倾斜度因子S（，D）取决于在划分的条件下最大的叶子节点，通过将所述数据元组重新平均分配至各个叶子节点使所述倾斜度因子最小化，通过把关键值平均地分配到l个部分的新的范围划分={,,…}：

式中，为B+树所保存的数据元组区间中的最小关键值，为B+树所保存的数据元组区间中的最大关键值，为B+树所保存的数据元组区间中的关键值，为B+树所保存的数据元组区间中的关键值数量，为当倾斜度因子超过预设阈值时，B+树所保存的数据元组区间范围；

计算出所述新的范围划分之后，根据所述新的范围划分来重新组织数据元组。

2.如权利要求1所述的面向流数据的快速索引方法，其特征在于，索引服务器对应于键区间，来自不同键区间的数据元组并行的进行索引构造，调度服务器根据全局的数据划分方法分发数据元组至对应的索引服务器。

3.如权利要求2所述的面向流数据的快速索引方法，其特征在于，所述索引服务器将接收到的数据元组保存于内存，若内存中数据元组的数量超出预设数据元组数据阈值时，所述索引服务器对所述数据元组进行flush操作。

4.如权利要求1所述的面向流数据的快速索引方法，其特征在于，所述查询请求中查询两个维度时，采用Z-ordering的方法将二维坐标转化为一维坐标从而使用B+树。

5.如权利要求1所述的面向流数据的快速索引方法，其特征在于，所述预设算法包括LADA算法。

6.一种面向流数据的快速索引装置，其特征在于，包括：

接收模块，用于接收发送过来的数据元组，并将所述数据元组组织成索引结构并且周期性的将所述数据元组写入分布式存储的数据块中；

布局模块，用于对B+树的叶子节点进行布局，所述布局包括对索引数组进行布局和对数据数组进行布局；

获取模块，用于获取查询请求，并根据所述查询请求在B+树的叶子节点的数据元组中通过二分搜索获取满足所述查询请求的数据元组的偏移量，并根据所述偏移量在所述数据元组中获取目标数据元组；

更新模块，用于对B+树进行边界更新；

排序模块，用于使用预设算法对所述目标数据元组进行优先级排序；

其中，所述布局模块包括：

所述索引数组包括按照预设顺序排序后的关键值，所述关键值包括指向数据数组中对应数据元组的偏移量；

所述数据数组中数据元组的存储顺序与对应的关键值与在所述索引数组中的存储顺序一致；

对B+树进行边界更新包括：

所述B+树的数据元组集合为D，倾斜度因子S（，D）取决于在划分的条件下最大的叶子节点，通过将所述数据元组重新平均分配至各个叶子节点使所述倾斜度因子最小化，通过把关键值平均地分配到l个部分的新的范围划分={,,…}：

式中，为B+树所保存的数据元组区间中的最小关键值，为B+树所保存的数据元组区间中的最大关键值，为B+树所保存的数据元组区间中的关键值，为B+树所保存的数据元组区间中的关键值数量，为当倾斜度因子超过预设阈值时，B+树所保存的数据元组区间范围；

计算出所述新的范围划分之后，根据所述新的范围划分来重新组织数据元组。