[发明专利]一种支持多维度检索的高效快速数据检索方法

摘要

本发明公开了一种支持多维度检索的高效快速数据检索方法，具体步骤如下：将接收到的每个消息数据块存储于高效数据块存储结构中；在时间维度上采用时间分块顺序存储算法，数据块之间采用链式存储，每个数据块内按照时间顺序采用顺序存储结构；所述高效数据块存储结构在其他维度上按照消息头不同字段建立哈希表，当消息包的哈希值相同时，建立链式队列，将数据包链接起来。本发明利用系统的超大内存硬件资源，将所有需要存储的数据块头按照一定的规则索引存储，上述存储架构在各个维度方向均支持精确检索，且支持按照时间的精确查询以及范围查询，且时间复杂度为常数级别，能够在海量数据环境下实现快速检索的目的。

主权项

一种支持多维度检索的高效快速数据检索方法，其特征在于，具体步骤如下：1)建立基于四维链表的高效数据块存储结构并将接收到的每个消息数据块存储于上述高效数据块存储结构中；2)所述高效数据块存储结构在时间维度上采用时间分块顺序存储算法，数据块之间采用链式存储，每个数据块内按照时间顺序采用顺序存储结构；3)定义数据密度为每秒存储的数据个数，计算公式如下：数据密度＝数据块中消息个数/86400   公式(1)；4)所述高效数据块存储结构在其他维度上按照消息头不同字段建立哈希表，当消息包的哈希值相同时，建立链式队列，将数据包链接起来；5)当按照时间维度进行查询时，首先按照链式结构，检索到当天的数据块，然后根据数据块的数据密度，按照以下公式(2)定位检索数据大致所在位置：位置＝时间×数据密度   公式(2)；6)再根据上述得到的位置的消息数据时间与检索时间比较，根据比较的结果，判断向前检索还是向后检索，然后精确比较定位，定位之后，根据该维度的链表，返回所检索的消息数据；7)若检索时间段内的范围查询，则按照步骤5)‑步骤6)，分别精确定位起始时间和终点时间，由于存储方式是数据块内采用基于时间的顺序存储方式，则起始时间和终点时间之间的时间段内的所有数据均是符合检索条件的消息数据；8)当按照DT值、DH值或BD值进行查询时，首先计算哈希值，然后按照哈希值定位其所在链表，然后检索联表内的消息数据。