[发明专利]Gaia集群中面向数据分布特征的维表缓存管理方法及系统

摘要

本发明公开了Gaia集群中面向数据分布特征的维表缓存管理方法及系统，构建了一套从构建到查询再到增量更新的全周期分布式缓存管理机制。包括数据分布特征提取模块和缓存管理模块，缓存管理模块为缓存构建、缓存查询和缓存更新子模块。数据分布特征提取模块从维表数据中抽取数据样本，统计样本数据的p分位点作为全量数据的分布特征。缓存构建子模块，根据统计的p分位点完成路由数组的初始化；利用分段确定方法为每条维表数据确定所属分段；利用索引建立方法为每条维表数据建立索引。缓存查询子模块，采用缓存查询方法，根据流数据记录的关键字从多路平衡跳表中查询相应的维表数据。缓存更新子模块，定义了p个分段跳表之间的平衡调整方法。