[发明专利]数据迁移方法、系统、装置及计算机可读存储介质有效

专利信息
申请号: 201711297501.0 申请日: 2017-12-08
公开(公告)号: CN109901786B 公开(公告)日: 2021-07-16
发明(设计)人: 姜文瀚 申请(专利权)人: 腾讯科技(深圳)有限公司
主分类号: G06F3/06 分类号: G06F3/06
代理公司: 广州三环专利商标代理有限公司 44202 代理人: 熊永强;贾允
地址: 518000 广东省深圳*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 迁移 方法 系统 装置 计算机 可读 存储 介质
【权利要求书】:

1.一种数据迁移方法,其特征在于,包括:

接收数据迁移调度任务,指示任务执行模块通过解析存储数据的存储信息,确定所述存储数据中的待迁移数据,并将所述待迁移数据的描述信息发送给计算模块;

指示所述计算模块根据所述待迁移数据的描述信息,计算得到所述待迁移数据的迁移规则;

根据所述迁移规则创建多个迁移任务,将多个所述迁移任务发送给多个数据迁移模块;

指示多个所述数据迁移模块按照各自接收的所述迁移任务,根据所述迁移规则迁移所述待迁移数据;

获取并行的多个所述迁移任务的执行状态;

若多个所述迁移任务中存在执行失败的迁移任务,则创建新的迁移任务并发送给所述执行失败的迁移任务对应的数据迁移模块;

若多个所述迁移任务均执行完毕,则创建并发送校验任务给校验模块,指示所述校验模块校验所述待迁移数据是否迁移完毕。

2.根据权利要求1所述的方法,其特征在于,所述接收数据迁移调度任务之前包括:

数据操作平台获取在页面上创建所述数据迁移调度任务的指令,所述页面为所述数据操作平台的页面;

验证所述数据迁移调度任务指向的数据迁移前的存储器,以及数据迁移后的存储器是否均有效;

若均有效,则创建所述数据迁移调度任务,并触发执行所述数据迁移调度任务。

3.根据权利要求2所述的方法,其特征在于,所述指示任务执行模块通过解析存储数据的存储信息,确定所述存储数据中的待迁移数据包括:

根据所述数据迁移调度任务创建多个解析导入任务;

同时发送多个所述解析导入任务给多个所述任务执行模块;

多个所述任务执行模块按照各自接收的所述解析导入任务,解析存储数据的生命周期信息、访问热度信息以及存储位置信息,并将生命周期小于预置时长和/或访问热度小于预置访问频率的存储数据,确定为所述待迁移数据。

4.根据权利要求1所述的方法,其特征在于,所述待迁移数据的描述信息包括所述待迁移数据占用的空间信息,则所述指示所述计算模块根据所述待迁移数据的描述信息,计算得到所述待迁移数据的迁移规则,包括:

创建多个计算任务,并同时将多个所述计算任务发送给多个所述计算模块;

所述计算模块根据所述待迁移数据占用的空间信息,计算得到所述待迁移数据的划分信息、划分后每部分待迁移数据对应迁移的存储器以及在各所述迁移后的存储器上占用的存储空间。

5.根据权利要求2所述的方法,其特征在于,所述多个所述数据迁移模块按照各自接收的所述迁移任务,迁移所述待迁移数据,包括:

所述多个所述数据迁移模块按照各自接收的所述迁移任务,访问所述待迁移数据所在的存储器,并下载所述待迁移数据,以及,上传所述待迁移数据到所述迁移后的存储器,并在源数据库中为所述待迁移数据添加删除标记。

6.根据权利要求1所述的方法,其特征在于,所述若多个所述迁移任务均执行完毕,则创建并发送校验任务给校验模块,指示所述校验模块校验所述待迁移数据是否迁移完毕之后包括:

当获取到所述校验模块返回的校验通过的信息后,回收空间任务管理模块指示回收空间模块在多个保存有所述待迁移数据的源数据库中,确定目标源数据库;

所述回收空间任务管理模块指示所述回收空间模块从所述目标源数据库中删除带有所述删除标记的数据。

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

回收空间任务管理模块指示回收空间模块整理各存储节点;

所述回收空间模块优先合并整理同一个存储节点的数据,所有的存储节点各自整理完毕后,将第一存储节点的数据,合并到第二存储节点的数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201711297501.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top