[发明专利]一种key-value数据分布式缓存系统及其方法

说明书

技术领域

本发明涉及数据存储领域，尤其是涉及海量key-value数据分布存储在多个节点内存中的系统和方法。 

背景技术

由于大多数的互联网服务需要从数据库中获取数据，以提供访问服务用户数据，而数据库服务一般由于受制于硬盘io瓶颈，无法提供对大数据高并发访问服务。 

现有的数据分布式缓存系统中，由于数据分片技术采用固定hash算法，当系统扩容，加入新存储节点，会导致大量已经存储的数据失效，产生巨大数据迁移成本。此外，分片数据没有采用复制集群技术，系统存在单点故障，一旦分片节点宕机后，直接导致数据丢失。没有采用连接池及长连接技术，数据在网络传输中损失大量性能，以及没有数据分组配置管理功能，无法实现在同一个集群上储存多个业务数据。此外，key-value数据，value数据只支持字符格式，无法满足业务对key关联数据更加精细控制。最后，由于现有的数据存储中没有使用插件技术，从而无法实现系统的灵活集成。 

发明内容

为了克服老旧方案的这些局限性，本发明创新提出的技术方案依据数据的key，采用一致性hash算法，实现key-value数据自动分片存储，保证系统数据存储容量的水平扩充。分片数据采用自动复制集群储存，从而保证了数据的高可 靠性，及高可用性。为提高对key-value数据访问的高效性，高可靠性，该发明采用长连接及连接池技术提高数据网络交互性能，通过监控集群每个节点的状态，及自动故障迁移技术消除集群中单点故障，保证数据访问的高可靠性。 

具体而言，本发明提出了一种Key-value数据分布式缓存系统，包括key-value访问代理集群和key-value数据存储集群，其中key-value访问代理集群由多个数据访问代理节点组成，key-value数据存储集群由多个数据分片存储复制集群组成，其中 

所述数据访问代理节点用于发送节点业务存储请求，并将数据读写请求路由到目标数据存储节点，存储或者读取业务数据； 

所述数据分片存储复制集群中采用主从数据复制机制，用于确定数据不存在单点故障，读数据从多个从节点读取，并且确定读数据负载均衡。 

根据本发明另一方面，其中，所述数据访问代理节点进一步包括：Key-value数据存取模块、存储分组配置模块、Key-value存储分组模块、存储节点健康检测模块，其中 

所述Key-value数据存取模块，用于通过建立与存储集群各节点的通讯链路，实现数据请求网络协议解析与存储数据传送及读取； 

所述存储分组配置模块，用于解析存储集群中物理节点信息，并实时监测存储集群物理配置变化，自动加载存储节点； 

所述Key-value存储分组模块，用于复制数据路由，通过一致性hash算法，自动计算数据实际存储的物理节点，实现数据访问目标物理节点的路由； 

所述存储节点健康检测模块，用于通过建立与数据存储集群中存储节点的心跳链路，实时监控存储集群各节点的工作状态，并切换主存储节点； 

根据本发明另一方面，其中，数据分片存储复制集群进一步包括：主存储节点和从存储节点，其中 

所述主存储节点用于数据读写请求，以及增量数据同步服务，维持与分片中其他节点的通讯链路，实现节点切换； 

所述从存储节点用于数据读请求，并实时从所述主存储节点上同步数据，维护数据的一致性，在所述主存储节点失效后，从存储节点切换成为主存储节点。 

此外，本发明还提出了一种采用key-value数据分布式缓存系统的数据缓存方法，其中该方法包括： 

S101、业务写key-value数据，并将数据发送给数据访问代理节点； 

S102、所述数据访问代理节点定位业务分组，通过对所述数据中的key值的一致性hash计算，获取数据分片复制集群的节点信息，并将所述数据发送至主存储节点存储； 

S103、从存储节点通过oplog系统异步同步主节点数据，保证数据同时存储在复制集群的每个存储节点上。 

根据本发明另一方面，其中在步骤S103后，该方法进一步包括： 

S104、业务读key-value数据，先将数据发送给数据访问代理节点； 

S105、代理节点定位业务分组，通过对key的一致性hash计算，获取数 据分片复制集群的节点信息，选取集群负载最低一个节点，将请求发送给该节点，获取数据。 

根据本发明另一方面，该方法进一步包括：