[发明专利]一种key-value数据分布式缓存系统及其方法有效
申请号: | 201210586504.7 | 申请日: | 2012-12-28 |
公开(公告)号: | CN103078927A | 公开(公告)日: | 2013-05-01 |
发明(设计)人: | 张宇峰;彭锦臻;姚健;潘柏宇;卢述奇 | 申请(专利权)人: | 合一网络技术(北京)有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F17/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100080 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 key value 数据 分布式 缓存 系统 及其 方法 | ||
1.一种Key-value数据分布式缓存系统,包括key-value访问代理集群和key-value数据存储集群,其中key-value访问代理集群由多个数据访问代理节点组成,key-value数据存储集群由多个数据分片存储复制集群组成,其中
所述数据访问代理节点用于发送节点业务存储请求,并将数据读写请求路由到目标数据存储节点,存储或者读取业务数据;
所述数据分片存储复制集群中采用主从数据复制机制,用于确定数据不存在单点故障,并且从多个从节点读取,以确定读数据负载均衡。
2.如权利要求1所述的系统,其中,所述数据访问代理节点进一步包括:Key-value数据存取模块、存储分组配置模块、Key-value存储分组模块、存储节点健康检测模块,其中
所述Key-value数据存取模块,用于通过建立与存储集群各节点的通讯链路,实现数据请求网络协议解析与存储数据传送及读取;
所述存储分组配置模块,用于解析存储集群中物理节点信息,并实时监测存储集群物理配置变化,自动加载存储节点;
所述Key-value存储分组模块,用于复制数据路由,通过一致性hash算法,自动计算数据实际存储的物理节点,实现数据访问目标物理节点的路由;
所述存储节点健康检测模块,用于通过建立与数据存储集群中存储节点的心跳链路,实时监控存储集群各节点的工作状态,并切换主存储节点。
3.如权利要求1所述的系统,其中,数据分片存储复制集群进一步包括:主存储节点和从存储节点,其中
所述主存储节点用于数据读写请求,以及增量数据同步服务,维持与分片中 其他节点的通讯链路,实现节点切换;
所述从存储节点用于数据读请求,并实时从所述主存储节点上同步数据,维护数据的一致性,在所述主存储节点失效后,从存储节点切换成为主存储节点。
4.一种采用权利要求1的key-value数据分布式缓存系统的数据缓存方法,其中该方法包括:
S101、业务写key-value数据,并将所述数据发送给数据访问代理节点;
S102、所述数据访问代理节点定位业务分组,通过对所述数据中的key值的一致性hash计算,获取数据分片复制集群的节点信息,并将所述数据发送至主存储节点存储;
S103、从存储节点通过oplog系统异步同步主节点数据,保证数据同时存储在复制集群的每个存储节点上。
5.如权利要求4所述的方法,该方法进一步包括:
S104、业务读key-value数据,先将数据发送给数据访问代理节点;
S105、代理节点定位业务分组,通过对key值的一致性hash计算,获取数据分片复制集群的节点信息,选取所述数据分片复制集群中负载最低一个节点,将请求发送给该节点,并获取数据。
6.如权利要求4所述的方法,该方法进一步包括:
S105、数据访问节点与数据服务节点间通过连接池及长连接技术进行网络数据交互;
S106、访问节点实时监控数据服务节点状态,一旦某个主存储节点失效后,选用从节点中数据复制最多的一个从节点充当主存储节点,实现数据写入故障动态迁移。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于合一网络技术(北京)有限公司,未经合一网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210586504.7/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置