[发明专利]数据处理方法、装置、设备、存储介质及系统有效
申请号: | 202110317270.5 | 申请日: | 2021-03-25 |
公开(公告)号: | CN112698926B | 公开(公告)日: | 2021-07-02 |
发明(设计)人: | 赵永亮;杨易;高斌;张清林 | 申请(专利权)人: | 成都新希望金融信息有限公司 |
主分类号: | G06F9/455 | 分类号: | G06F9/455 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 曹瑞敏 |
地址: | 610000 四川省成*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 设备 存储 介质 系统 | ||
本申请提供一种数据处理方法、装置、设备、存储介质及系统,涉及数据处理领域。该方法包括:接收代理节点发送的请求和哈希槽;所述哈希槽为所述代理节点根据所述请求中的哈希标识计算得到的;确定所述哈希槽所在的实例为所述请求对应的第一目标实例;根据所述请求更新所述第一目标实例中所述哈希槽所存储的数据。相对于现有技术,避免了存储系统的可靠性不高的问题。
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种数据处理方法、装置、设备、存储介质及系统。
背景技术
随着现代互联网技术的发展,许多行业均转向移动端(应用程序,微信小程序,导流渠道等),通过线上获取用户,从而减少获取用户的成本。但是这样的方式会导致用户量的激增,从而对后台服务器的响应速度的要求较高,而Redis凭借高性能、简单部署的特点被广泛应用。
现有技术中一般通过Redis集群方案来实现数据的存取,Redis集群方案通过分片实现扩容,采用多主多从模式,完全去中心化,每个节点都维护整个集群的所有节点信息,通过节点间定时、定频的两两通讯方式,交换并且更新数据,客户端在进行数据请求时只接触主节点,从节点充当备用节点,在节点故障时可以通过投票机制完成容灾,各节点间使用轻量协议通信,减少带宽占用,提高集群性能。
但是Redis集群方案中,客户端必须要缓存哈希槽的信息,并且需要准实时同步,这对客户端的可靠性有一定要求,从而导致若对集群客户端的支持不全面,则会造成整个存储系统的可靠性不高的问题。
发明内容
本申请的目的在于,针对上述现有技术中的不足,提供一种数据处理方法、装置、设备、存储介质及系统,以解决现有技术中存储系统的可靠性不高的问题。
为实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请一实施例提供了一种数据处理方法,所述方法包括:应用于分片式存储系统中的任一存储节点,所述存储节点中包括多个实例,所述方法包括:
接收代理节点发送的请求和哈希槽;所述哈希槽为所述代理节点根据所述请求中的哈希标识计算得到的;
根据哈希槽范围和各实例之间的映射关系,确定所述哈希槽所在的实例为所述请求对应的第一目标实例;其中,每个所述存储节点中均存储有该所述存储节点对应的哈希槽范围和各实例之间的映射关系;
根据所述请求更新所述第一目标实例中所述哈希槽所存储的数据。
可选地,所述方法还包括:
接收管理设备发送的实例调整命令;其中,所述实例调整命令中包括:第二目标实例的标识和迁移指令;
根据所述第二目标实例的标识在所述存储节点上确定第二目标实例;
根据所述迁移指令,对所述第二目标实例中的数据进行迁移。
可选地,所述迁移指令包括:待增加实例;
所述根据所述迁移指令,对所述第二目标实例中的数据进行迁移,包括:
添加所述待增加实例;
将所述第二目标实例内的部分哈希槽范围的数据,迁移至所述待增加实例,并在所述第二目标实例中删除迁移成功的数据。
可选地,所述迁移指令还包括:目标哈希槽范围;所述部分哈希槽范围为所述目标哈希槽范围所指示的哈希槽范围。
可选地,所述迁移指令包括:缩容实例的标识;所述缩容实例为所述存储节点上除所述第二目标实例外的一个实例;
所述根据所述迁移指令,对所述第二目标实例中的数据进行迁移,包括:
根据所述缩容实例的标识在所述存储节点上确定所述缩容实例;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都新希望金融信息有限公司,未经成都新希望金融信息有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110317270.5/2.html,转载请声明来源钻瓜专利网。