[发明专利]一种跨集群对象存储异步备份方法、装置和系统有效
申请号: | 201910030266.3 | 申请日: | 2019-01-14 |
公开(公告)号: | CN109840166B | 公开(公告)日: | 2021-03-30 |
发明(设计)人: | 张婷;胡升波;何军 | 申请(专利权)人: | 京东数字科技控股有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F16/27 |
代理公司: | 北京德琦知识产权代理有限公司 11018 | 代理人: | 杜志敏;宋志强 |
地址: | 100176 北京市经济技*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 集群 对象 存储 异步 备份 方法 装置 系统 | ||
1.一种跨集群对象存储异步备份方法,应用于跨集群对象存储异步备份系统中的同步服务器上,其特征在于,该方法包括:
从数据库服务器上获取同步的数据列表;
将数据列表中的用户操作对象名称划分为多个任务,并下发到缓存队列中;
针对缓存队列中本同步服务器处理的任务从主集群服务器获取对应的用户操作对象的数据和状态;
根据获取的状态,将获取的数据备份到从集群服务器;
其中,所述用户操作对象名称为主集群服务器通过部署的Openresty服务在主集群服务器成功写入数据时发送的针对该次操作对象的描述信息,其中,所述主集群服务器通过Openresty服务接收客户端发送的写入数据请求,通过部署的对象存储服务处理写入数据请求;
其中,当所述状态为存在或不存在时,所述根据获取的状态,将获取的数据备份到从集群服务器,包括:
若获取的状态为存在,则将对应的数据备份到从集群服务器;若获取的状态为不存在,则删除从集群服务器上相应数据。
2.根据权利要求1所述的方法,其特征在于,所述数据库服务器中针对每个用户操作对象存储一条记录,以replace模式更新每个用户操作对象的记录。
3.根据权利要求1所述的方法,其特征在于,
所述用户操作对象名称为:类型为增、删、改的写入请求对应的用户操作对象的名称。
4.根据权利要求1所述的方法,其特征在于,
针对缓存队列中的任务采用分布式方式处理。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述数据库服务器与同步服务器、主集群服务器,或从集群服务器为同一服务器,或不同服务器;
所述同步服务器与主集群服务器,或从集群服务器为同一服务器,或不同服务器。
6.一种跨集群对象存储异步备份装置,应用于跨集群对象存储异步备份系统中的同步服务器上,其特征在于,该装置包括:第一获取单元、处理单元、第二获取单元和备份单元;
所述第一获取单元,用于从数据库服务器上获取同步的数据列表;
所述处理单元,用于将所述第一获取单元获取的数据列表中的用户操作对象名称划分为多个任务,并下发到缓存队列中;其中,所述用户操作对象名称为主集群服务器通过部署的Openresty服务在主集群服务器成功写入数据时发送的针对该次操作对象的描述信息,其中,所述主集群服务器通过Openresty服务接收客户端发送的写入数据请求,通过部署的对象存储服务处理写入数据请求;
所述第二获取单元,用于针对所述处理单元下发任务的缓存队列中本同步服务器处理的任务从主集群服务器获取对应的用户操作对象的数据和状态;
所述备份单元,用于根据获取的状态,将获取的数据备份到从集群服务器;
其中,所述备份单元,进一步用于其中,当所述状态为存在或不存在时,若获取的状态为存在,则将对应的数据备份到从集群服务器;若获取的状态为不存在,则删除从集群服务器上相应数据。
7.根据权利要求6所述的装置,其特征在于,
所述数据库服务器中针对每个用户操作对象存储一条记录,以replace模式更新每个用户操作对象的记录。
8.根据权利要求6所述的装置,其特征在于,
所述用户操作对象名称为:类型为增、删、改的写入请求对应的用户操作对象的名称。
9.根据权利要求6-8任一项所述的装置,其特征在于,
针对缓存队列中的任务采用分布式方式处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东数字科技控股有限公司,未经京东数字科技控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910030266.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:存储器系统及其操作方法
- 下一篇:一种文件防删改方法和装置