[发明专利]一种数据迁移方法、装置和系统

说明书

本发明实施例公开了一种数据迁移方法、装置和系统，元数据端统计各文件的访问热度；依据各文件的访问热度以及存储位置，建立待迁移文件列表；当待迁移文件列表的数据量满足预设条件时，则向目标客户端发送文件迁移指令。目标客户端在接收到元数据端发送的文件迁移指令后，依据待迁移文件列表中包含的文件标识信息，批量读取目标文件；并将聚合后的目标文件写入指定的存储介质。通过对待迁移的文件进行汇总，以便于目标客户端将多个待迁移文件进行整合后写入指定的存储介质，减少了文件迁移的读写次数，提升了文件迁移的效率，从而减少迁移过程对系统资源的消耗，提升了分布式系统读写响应速度和性能。

技术领域

本发明涉及数据存储技术领域，特别是涉及一种数据迁移方法、装置和系统。

背景技术

在分布式文件系统中，存储介质可以划分为慢存储介质和快存储介质。对于频繁访问的文件，若将其存储在慢存储介质中，则会影响文件的读取性能。

在一段时间内，文件被访问的次数越多，文件的热度就越高。传统方式中，会根据元数据端统计的文件热度信息，把达到一定热度的文件，由慢存储介质迁移到快存储介质上。文件迁移的过程会占用系统资源，若需要迁移的文件数量较多且以小文件为主时，将这些文件一个一个的从慢存储介质读数据写入到快速存储介质，频繁的迁移会占用较多的系统资源，对分布式系统的读写性能产生影响，降低分布式文件系统的响应能力。

可见，如何提升文件迁移效率，以降低文件迁移对系统资源的消耗，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种数据迁移方法、装置和系统，可以提升文件迁移效率，以降低文件迁移对系统资源的消耗。

为解决上述技术问题，本发明实施例提供一种数据迁移方法，包括：

统计各文件的访问热度；

依据各文件的访问热度以及存储位置，建立待迁移文件列表；

判断所述待迁移文件列表的数据量是否满足预设条件；

若是，则向目标客户端发送文件迁移指令，以便于所述目标客户端根据所述文件迁移指令，将所述待迁移文件列表中指向的目标文件批量迁移至指定位置。

可选的，所述依据各文件的访问热度以及存储位置，建立待迁移文件列表包括：

收集访问热度大于或等于预设上限值的第一初始文件；收集访问热度小于或等于预设下限值的第二初始文件；

从所述第一初始文件中选取出存储位置归属于第一存储介质的第一文件，并将所述第一文件的文件标识信息加入第一待迁移文件列表中；从所述第二初始文件中选取出存储位置归属于第二存储介质的第二文件，并将所述第二文件的文件标识信息加入第二待迁移文件列表中，以完成待迁移文件列表的建立；

其中，所述第一存储介质的数据读取速率低于所述第二存储介质的数据读取速率。

可选的，在所述向目标客户端发送文件迁移指令之前还包括：

将所述待迁移文件列表存储到日志文件中。

可选的，还包括：

当接收到所述目标客户端反馈的迁移完成的提示信息后，将所述待迁移文件列表从所述日志文件中删除。

可选的，在所述待迁移文件列表的数据量满足预设条件之后，在所述向目标客户端发送文件迁移指令之前还包括：

关闭向所述待迁移文件列表中写入文件标识信息的任务；

相应的，在接收到所述目标客户端反馈的迁移完成的提示信息之后还包括：

开启向所述待迁移文件列表中写入文件标识信息的任务。