[发明专利]一种数据迁移方法、装置和系统在审
| 申请号: | 201811295927.7 | 申请日: | 2018-11-01 |
| 公开(公告)号: | CN109471836A | 公开(公告)日: | 2019-03-15 |
| 发明(设计)人: | 苏志恒 | 申请(专利权)人: | 浪潮电子信息产业股份有限公司 |
| 主分类号: | G06F16/11 | 分类号: | G06F16/11;G06F16/182 |
| 代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
| 地址: | 250101 山东*** | 国省代码: | 山东;37 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 迁移文件 目标客户端 文件迁移 存储介质 数据迁移 迁移 元数据 读写 热度 写入 指令 文件标识信息 分布式系统 存储位置 读取目标 发送文件 目标文件 系统资源 预设条件 数据量 整合 聚合 发送 访问 消耗 响应 统计 | ||
1.一种数据迁移方法,其特征在于,包括:
统计各文件的访问热度;
依据各文件的访问热度以及存储位置,建立待迁移文件列表;
判断所述待迁移文件列表的数据量是否满足预设条件;
若是,则向目标客户端发送文件迁移指令,以便于所述目标客户端根据所述文件迁移指令,将所述待迁移文件列表中指向的目标文件批量迁移至指定位置。
2.根据权利要求1所述的方法,其特征在于,所述依据各文件的访问热度以及存储位置,建立待迁移文件列表包括:
收集访问热度大于或等于预设上限值的第一初始文件;收集访问热度小于或等于预设下限值的第二初始文件;
从所述第一初始文件中选取出存储位置归属于第一存储介质的第一文件,并将所述第一文件的文件标识信息加入第一待迁移文件列表中;从所述第二初始文件中选取出存储位置归属于第二存储介质的第二文件,并将所述第二文件的文件标识信息加入第二待迁移文件列表中,以完成待迁移文件列表的建立;
其中,所述第一存储介质的数据读取速率低于所述第二存储介质的数据读取速率。
3.根据权利要求1所述的方法,其特征在于,在所述向目标客户端发送文件迁移指令之前还包括:
将所述待迁移文件列表存储到日志文件中。
4.根据权利要求3所述的方法,其特征在于,还包括:
当接收到所述目标客户端反馈的迁移完成的提示信息后,将所述待迁移文件列表从所述日志文件中删除。
5.根据权利要求4所述的方法,其特征在于,在所述待迁移文件列表的数据量满足预设条件之后,在所述向目标客户端发送文件迁移指令之前还包括:
关闭向所述待迁移文件列表中写入文件标识信息的任务;
相应的,在接收到所述目标客户端反馈的迁移完成的提示信息之后还包括:
开启向所述待迁移文件列表中写入文件标识信息的任务。
6.一种数据迁移装置,其特征在于,包括统计单元、建立单元、判断单元和发送单元;
所述统计单元,用于统计各文件的访问热度;
所述建立单元,用于依据各文件的访问热度以及存储位置,建立待迁移文件列表;
所述判断单元,用于判断所述待迁移文件列表的数据量是否满足预设条件;若是,则触发所述发送单元;
所述发送单元,用于向目标客户端发送文件迁移指令,以便于所述目标客户端根据所述文件迁移指令,将所述待迁移文件列表中指向的目标文件批量迁移至指定位置。
7.一种数据迁移方法,其特征在于,包括:
接收元数据端发送的文件迁移指令;其中,所述文件迁移指令中携带有待迁移文件列表;
依据所述待迁移文件列表中包含的文件标识信息,批量读取目标文件;
将各所述目标文件进行聚合,并将聚合后的目标文件写入指定的存储介质。
8.根据权利要求7所述的方法,其特征在于,还包括:
当完成所述待迁移文件列表中所有文件的迁移后,向所述元数据端发送迁移完成的提示信息。
9.一种数据迁移装置,其特征在于,包括接收单元、读取单元和整合单元;
所述接收单元,用于接收元数据端发送的文件迁移指令;其中,所述文件迁移指令中携带有待迁移文件列表;
所述读取单元,用于依据所述待迁移文件列表中包含的文件标识信息,批量读取目标文件;
所述整合单元,用于将各所述目标文件进行聚合,并将聚合后的目标文件写入指定的存储介质。
10.一种数据迁移系统,其特征在于,包括元数据端和目标客户端;
所述元数据端,用于统计各文件的访问热度;依据各文件的访问热度以及存储位置,建立待迁移文件列表;判断所述待迁移文件列表的数据量是否满足预设条件;若是,则向目标客户端发送文件迁移指令,以便于所述目标客户端根据所述文件迁移指令,将所述待迁移文件列表中指向的目标文件批量迁移至指定位置;
所述目标客户端,用于接收元数据端发送的文件迁移指令;其中,所述文件迁移指令中携带有待迁移文件列表;依据所述待迁移文件列表中包含的文件标识信息,批量读取目标文件;将各所述目标文件进行聚合,并将聚合后的目标文件写入指定的存储介质。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮电子信息产业股份有限公司,未经浪潮电子信息产业股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811295927.7/1.html,转载请声明来源钻瓜专利网。





