[发明专利]一种海量异构日志数据检索中间件

说明书

本发明公开了一种海量异构日志数据检索中间件，所述日志数据检索中间件为适用于日志数据的二级索引数据模型；二级索引结构包括索引主键和索引值；所述索引主键包括以下字段：原始表Region起始键字段RegionStartKey；索引名字段IndexName，所述IndexName字段用于唯一标识一个二级索引；非主键列值字段IndexKey，该字段由原始数据表中非主键列值字段拼接而成；用户表主键字段UserRowKey，该字段用于映射原始数据表中的主键；所述索引值包括用于存储索引主键原始表Region起始键字段长度的字段和用于存储用户表主键偏移值的字段。本发明设计的二级索引结构中，原始数据表数据只与索引主键字段有关，空间开销可控可计算，每个索引使用不到8％的空间开销而获得10倍以上的查询性能提升。

技术领域

本发明涉及大数据检索技术，尤其涉及一种海量异构日志数据检索中间件。

背景技术

在检索海量异构日志数据时，传统的数据存储与管理方法已难以适应当前大规模数据管理对效率的需求，因此非关系型数据库(Not Only SQL，NoSQL)得以迅速发展。HBase作为NoSQL数据库的代表，已被广泛应用于各行各业的数据存储与管理中。HBase在行键上建立了类B+树索引，可以高效地支持基于行键的快速数据查询，但对非行键的列没有建立索引，故进行非行键列查询时，需要对全表进行扫描，这样的查询效率十分低下。在日志检索与分析场景下，大多数查询都要求在非主键上进行，且需要综合各列数据综合进行日志分析，这就导致HBase对于日志数据的检索能力较弱。因此，需要一个高效快速的海量异构日志检索中间件。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种海量异构日志数据检索中间件。

本发明解决其技术问题所采用的技术方案是：一种海量异构日志数据检索中间件，所述日志数据检索中间件为适用于日志数据的二级索引数据模型；

二级索引结构包括索引主键和索引值；

所述索引主键包括以下字段：

原始表Region起始键字段RegionStartKey；该字段用于存储Region中的第一行；所述Region为HBase中所有数据的一个子集，

索引名字段IndexName，所述IndexName字段用于唯一标识一个二级索引；

所述原始表Region起始键字段RegionStartKey与索引名字段IndexName之间设有一个长度为1的空字节数组；

非主键列值字段IndexKey，该字段由原始数据表中非主键列值字段拼接而成；

用户表主键字段UserRowKey，该字段用于映射原始数据表中的主键，映射关系生成如下：通过IndexKey与查询条件的比较获得符合条件的索引表主键结果集合，通过该集合获得数据表主键，得到符合条件的记录；原始数据表的主键唯一性决定了该字段的唯一性，保证索引记录与数据表记录的唯一映射关系；

所述索引值包括用于存储索引主键原始表Region起始键字段长度的字段和用于存储用户表主键偏移值的字段。

按上述方案，所述索引名字段IndexName采用空字节数组填充策略保持该字段长度为18byte定长。

按上述方案，所述二级索引结构的存储方式如下：采用HT-Tree构建内存索引存储。

按上述方案，所述采用HT-Tree构建内存索引具体如下：每个叶子节点有四个哈希表，每个哈希表中有三个哈希桶，在使用HT-Tree构建内存索引时，根据关键字的键值通过查找算法查找到关键字可以插入的哈希表，然后通过计算，找到关键字可插入的哈希桶，判断哈希桶是否已满，若已满则分裂该节点，将该关键字插入，若未满则直接插入哈希桶。