[发明专利]一种网络流量数据索引方法及系统

摘要

本发明公开了一种网络流量数据索引方法及系统，方法包括实时捕获网络流量数据；在内存中通过对所述网络流量数据的每个索引字段维护一棵位图‑字典树来建立并存储所述网络流量数据的索引结构，进而更新所述索引字段的索引结构；根据用户的查询请求来查询所述网络流量数据的索引结构从而获得网络流量数据的存储位置信息，将该存储位置信息返回给用户，用户根据该存储位置信息获取响应的数据。由此，提供一种能有效地支持实时高速流量记录的索引建立工作的网络流量数据索引方法及系统，即使在较小索引磁盘空间消耗的情况下，也能支持快速的索引查询操作。

主权项

一种网络流量数据索引方法，其特征在于，包括下列步骤：步骤1，实时捕获网络流量数据；步骤2，所述网络流量数据具有多个索引字段，在内存中通过使所述索引字段维护位图‑字典树来建立并存储所述网络流量数据的索引结构，对于所述索引字段按字节来划分键值，通过使所述键值在所述位图‑字典树的位图结构中所对应的非叶子节点的指针具有孩子节点、叶子节点的指针指向存储位置链表来更新所述网络流量数据的索引结构；步骤3，根据用户的查询请求查询所述索引结构从而获得网络流量数据的存储位置信息，将该存储位置信息返回给用户，用户根据该存储位置信息获取响应的数据；其中在所述步骤2中，所述位图‑字典树的高度等于所述索引字段的字节大小，对于所述索引字段按照每个字节一个键值来划分，更新所述网络流量数据的索引结构的方法具体为：依次获取所述索引字段对应的键值，通过检测所述键值在所述位图‑字典树的非叶子节点的位图结构中所对应的比特值为1，来判断所述非叶子节点的指针具有孩子节点，若不具有孩子节点，则分配一个新节点，并使所述键值对应的指针指向该新节点，同时将该比特值置为1，以使所述非叶子节点的指针具有孩子节点，到达所述位图‑字典树的叶子节点时，使所述叶子节点对应指针指向存储位置链表，在该存储位置链表中新增所述索引字段的存储位置信息；所述步骤3的查询所述索引结构的查询过程为，将查询条件按照每个字节一个键值来划分，其中最后一个键值为未知键值，依此获取所述查询条件的键值，通过读取所述键值在所述位图‑字典树的非叶子节点的位图结构中所对应的比特值为1来获取根节点对应孩子节点在磁盘中的存储位置，并读取该位置上的位图‑字典树节点，否则返回查询结果为空，到达最后一个键值的前一个键值时，获取其在位图‑字典树的位图结构中所对应的所有比特值为1的位，然后获取该所有比特值为1的位的偏移位置，最后读取这些偏移位置的叶子节点和其对应的链表元素，并将链表元素进行合并返回。