[发明专利]一种海量异构日志数据检索中间件

权利要求书

1.一种海量异构日志数据检索中间件，其特征在于，所述日志数据检索中间件为适用于日志数据的二级索引数据模型；

二级索引结构包括索引主键和索引值；

所述索引主键包括以下字段：

原始表Region起始键字段RegionStartKey；该字段用于存储Region中的第一行；所述Region为HBase中所有数据的一个子集，

索引名字段IndexName，所述IndexName字段用于唯一标识一个二级索引；

所述原始表Region起始键字段RegionStartKey与索引名字段IndexName之间设有一个长度为1的空字节数组；

非主键列值字段IndexKey，该字段由原始数据表中非主键列值字段拼接而成；

用户表主键字段UserRowKey，该字段用于映射原始数据表中的主键，映射关系生成如下：通过IndexKey与查询条件的比较获得符合条件的索引表主键结果集合，通过该集合获得数据表主键，得到符合条件的记录；原始数据表的主键唯一性决定了该字段的唯一性，保证索引记录与数据表记录的唯一映射关系；

所述索引值包括用于存储索引主键原始表Region起始键字段长度的字段和用于存储用户表主键偏移值的字段。

2.根据权利要求1所述的海量异构日志数据检索中间件，其特征在于，所述索引名字段IndexName采用空字节数组填充策略保持该字段长度为18byte定长。

3.根据权利要求1所述的海量异构日志数据检索中间件，其特征在于，所述二级索引结构的存储方式如下：采用HT-Tree构建内存索引存储。

4.根据权利要求3所述的海量异构日志数据检索中间件，其特征在于，所述采用HT-Tree构建内存索引具体如下：每个叶子节点有四个哈希表，每个哈希表中有三个哈希桶，在使用HT-Tree构建内存索引时，根据关键字的键值通过查找算法查找到关键字可以插入的哈希表，然后通过计算，找到关键字可插入的哈希桶，判断哈希桶是否已满，若已满则分裂该节点，将该关键字插入，若未满则直接插入哈希桶。

5.根据权利要求4所述的海量异构日志数据检索中间件，其特征在于，所述关键字的键值为用户表主键字段中将主键原始字符串经过hash函数映射成整数形式得到主键的键值。