[发明专利]数据迁移方法、系统、装置及计算机可读存储介质有效
申请号: | 201711297501.0 | 申请日: | 2017-12-08 |
公开(公告)号: | CN109901786B | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 姜文瀚 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;贾允 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 迁移 方法 系统 装置 计算机 可读 存储 介质 | ||
1.一种数据迁移方法,其特征在于,包括:
接收数据迁移调度任务,指示任务执行模块通过解析存储数据的存储信息,确定所述存储数据中的待迁移数据,并将所述待迁移数据的描述信息发送给计算模块;
指示所述计算模块根据所述待迁移数据的描述信息,计算得到所述待迁移数据的迁移规则;
根据所述迁移规则创建多个迁移任务,将多个所述迁移任务发送给多个数据迁移模块;
指示多个所述数据迁移模块按照各自接收的所述迁移任务,根据所述迁移规则迁移所述待迁移数据;
获取并行的多个所述迁移任务的执行状态;
若多个所述迁移任务中存在执行失败的迁移任务,则创建新的迁移任务并发送给所述执行失败的迁移任务对应的数据迁移模块;
若多个所述迁移任务均执行完毕,则创建并发送校验任务给校验模块,指示所述校验模块校验所述待迁移数据是否迁移完毕。
2.根据权利要求1所述的方法,其特征在于,所述接收数据迁移调度任务之前包括:
数据操作平台获取在页面上创建所述数据迁移调度任务的指令,所述页面为所述数据操作平台的页面;
验证所述数据迁移调度任务指向的数据迁移前的存储器,以及数据迁移后的存储器是否均有效;
若均有效,则创建所述数据迁移调度任务,并触发执行所述数据迁移调度任务。
3.根据权利要求2所述的方法,其特征在于,所述指示任务执行模块通过解析存储数据的存储信息,确定所述存储数据中的待迁移数据包括:
根据所述数据迁移调度任务创建多个解析导入任务;
同时发送多个所述解析导入任务给多个所述任务执行模块;
多个所述任务执行模块按照各自接收的所述解析导入任务,解析存储数据的生命周期信息、访问热度信息以及存储位置信息,并将生命周期小于预置时长和/或访问热度小于预置访问频率的存储数据,确定为所述待迁移数据。
4.根据权利要求1所述的方法,其特征在于,所述待迁移数据的描述信息包括所述待迁移数据占用的空间信息,则所述指示所述计算模块根据所述待迁移数据的描述信息,计算得到所述待迁移数据的迁移规则,包括:
创建多个计算任务,并同时将多个所述计算任务发送给多个所述计算模块;
所述计算模块根据所述待迁移数据占用的空间信息,计算得到所述待迁移数据的划分信息、划分后每部分待迁移数据对应迁移的存储器以及在各所述迁移后的存储器上占用的存储空间。
5.根据权利要求2所述的方法,其特征在于,所述多个所述数据迁移模块按照各自接收的所述迁移任务,迁移所述待迁移数据,包括:
所述多个所述数据迁移模块按照各自接收的所述迁移任务,访问所述待迁移数据所在的存储器,并下载所述待迁移数据,以及,上传所述待迁移数据到所述迁移后的存储器,并在源数据库中为所述待迁移数据添加删除标记。
6.根据权利要求1所述的方法,其特征在于,所述若多个所述迁移任务均执行完毕,则创建并发送校验任务给校验模块,指示所述校验模块校验所述待迁移数据是否迁移完毕之后包括:
当获取到所述校验模块返回的校验通过的信息后,回收空间任务管理模块指示回收空间模块在多个保存有所述待迁移数据的源数据库中,确定目标源数据库;
所述回收空间任务管理模块指示所述回收空间模块从所述目标源数据库中删除带有所述删除标记的数据。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
回收空间任务管理模块指示回收空间模块整理各存储节点;
所述回收空间模块优先合并整理同一个存储节点的数据,所有的存储节点各自整理完毕后,将第一存储节点的数据,合并到第二存储节点的数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711297501.0/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置