[发明专利]一种数据分布式缓存自动加载与转换方法

说明书

本发明公开了一种数据分布式缓存自动加载与转换方法，具体涉及数据库技术领域，通过采用一致性哈希均匀分布的缓存方式，实现基于现一致性哈希分布式数据的环状存储结构，同时采用存入数据的特征提取，使其数据实现向特征的转换，并针对于特征创立相应集合数据库，采用独立的搜索引擎对内容索引，使其分布式大数据实现统一集合索引，提高检索速度同时，依照数据节点的超链对应，形成数据的精准读取，同步的配合三层缓存的方式，针对于时效性的缓存数据而言，对于清除的缓存数据单独存储，实现高频率文件的集合，降低再次通过分布式存储数据调用，一定程度上减缓了分布式存储的数据压力，同时针对于缓存效果进一步增强。

技术领域

本发明涉及数据库技术领域，更具体地说，本发明涉及一种数据分布式缓存自动加载与转换方法。

背景技术

Redis是Remote Dictionary Server(Redis) 的缩写，是一个由SalvatoreSanfilippo编写的key-value存储系统，是一个使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型的Key-Value数据库，并提供多种语言的API。在很多地方，Redis也被业内人士称为数据结构服务器，因为它允许缓存的值（value）可以是字符串(string)、哈希(hash)、列表(list)、集合(set)和有序集合(sorted set)等类型。此外，Redis还支持master-slave方式的数据备份。

作为Redis分布式缓存的方式而言，采用传统的数据索引方式，对其分布的数据而言，形成较大的数据索引压力，其数据的索引速度一定程度上的制约了缓存数据引入的响应速度，同时针对于缓存数据而言，目前的缓存数据在一定当量的存储量下，使其失去时效性的缓存数据将会被清理，作为清理后的数据仍旧有着极大的调用可能性，无形中进一步增加分布数据索引的压力，使其无法做到原始数据的高效缓存读取与应用。

发明内容

为了克服现有技术的上述缺陷，本发明提供了一种数据分布式缓存自动加载与转换方法，本发明所要解决的技术问题是：针对于缓存数据而言，目前的缓存数据在一定当量的存储量下，使其失去时效性的缓存数据将会被清理，作为清理后的数据仍旧有着极大的调用可能性，无形中进一步增加分布数据索引的压力，使其无法做到原始数据的高效缓存读取与应用的问题。

为实现上述目的，本发明提供如下技术方案：一种数据分布式缓存自动加载与转换方法，包括以下方法：

步骤一：建立分布式数据缓存，通过MurmurHash计算方式实现hash计算，通过java的TreeMap来模拟环状结构，实现数据一致性哈希缓存节点均匀分布。

步骤二：原始数据存入所述分布式数据缓存下层的数据库中，并对数据进行特征提取处理。

步骤三：所述步骤二中提取的特征数据建立与对应原始数据的索引超链，并提取原始数据位于模拟环状结构的对应数据节点部署。

步骤四：依据所述分布式数据缓存建立中层集合数据库，并基于中层集合数据库装载特征搜索引擎。

步骤五：在所述集合数据库中建立三层缓存，并对预清理缓存进行提前量读取，实现缓存数据垃圾桶整合策略。

作为本发明的进一步方案：所述特征搜索引擎组成为多个source searchingEngine的安装，其下层安装有元搜索引擎。

作为本发明的进一步方案：步骤五中提出的所述三层缓存数据依照读取频率分层，所述三层缓存呈金字塔式分布，高频读取缓存位于顶端，低频读取缓存位于底端，且高频读取缓存数据量维持较少数目。

作为本发明的进一步方案：所述缓存节点中设置有Master和Slave节点，通过Master与Slave节点实现节点互相切换。

作为本发明的进一步方案：所述中层集合数据库采用基于database的MySQL数据库，所述步骤二中特征提取采用递归特征消除法方式。