[发明专利]一种文件迁移的方法和系统

说明书

技术领域

本申请涉及文件存储领域，特别涉及一种文件迁移的方法和系统。

背景技术

自动分级存储按照文件属性将文件存放在不同性能的存储设备上，并实现文件在存储设备之间的自动迁移。满足了用户对文件处理速度、存储容量和成本的多样需求，以达到合理利用存储空间、提升存储系统访问性能、降低总体部署成本的目的。

在分级系统中，系统顶起扫描元数据，根据文件池策略来判断已存放到存储系统内的文件是否需要重新条带化，如果需要条带化则下发重新条带化任务。重新条带化指的是将已存储的数据迁移到其他分级中。在分级系统进行条带化任务之前，必须知道各个分级中都存在哪些文件，并且需要知道这些文件的各种信息，包括创建时间，修改时间，IO频率，用户，用户组，文件名等等。在以往的分级系统中是通过对整个文件系统的文件元数据进行遍历来得到的，这种做法不需要额外工具的支持，简单方便。但是在动辄上百亿文件数量的现代文件系统中，对海量元数据的遍历会导致整个文件系统性能底下，甚至影响到业务访问。

申请内容

本申请的目的是提供一种文件迁移的方法和系统，解决现有的文件重新条带化时效率低的问题。

为解决上述技术问题，本申请提供一种文件迁移的方法，具体技术方案如下：

当匹配到目标文件的迁移策略时，将文件列表落盘；

扫描所述文件列表以确定所述迁移策略对应的目标文件列表；

读取所述目标文件列表，获得所述目标文件的元数据编号；

根据所述元数据编号查找目标文件；

根据所述迁移策略迁移所述目标文件。

其中，所述方法还包括：

根据迁移策略生成所述文件列表，将各分级系统的所有所述文件列表存储在相应的KV数据库中。

其中，所述将文件列表落盘包括：

将所述文件列表在MDSRankDispatcher::tick()中利用Objecter::mutate函数进行落盘。

其中，所述还包括：

利用MDLog::trim函数聚合相同文件列表的操作到ObjectOperation类中以减少落盘的次数。

其中，根据所述元数据编号查找目标文件包括：

根据所述元数据编号查找元数据信息节点；

从所述元数据信息节点中确定所述目标文件。

本申请还提供一种文件迁移的系统，包括：

落盘模块，用于当匹配到目标文件的迁移策略时，将文件列表落盘；

扫描模块，用于扫描所述文件列表以确定所述迁移策略对应的目标文件列表；

读取模块，用于读取所述目标文件列表，获得所述目标文件的元数据编号；

查找模块，用于根据所述元数据编号查找目标文件；

迁移模块，用于根据所述迁移策略迁移所述目标文件。

其中，所述系统还包括：

存储模块，用于根据迁移策略生成所述文件列表，将各分级系统的所有所述文件列表存储在相应的KV数据库中。

其中，所述落盘模块为用于当匹配到目标文件的迁移策略时，将所述文件列表在MDSRankDispatcher::tick()中利用Objecter::mutate函数进行落盘的模块。

其中，所述系统还包括：

聚合模块，用于利用MDLog::trim函数聚合相同文件列表的操作到ObjectOperation类中以减少落盘的次数。

其中，根据查找模块包括：

查找单元，用于根据所述元数据编号查找元数据信息节点；

确定单元，用于从所述元数据信息节点中确定所述目标文件。

本申请所提供的一种文件迁移的方法，包括：当匹配到目标文件的迁移策略时，将文件列表落盘；扫描所述文件列表以确定所述迁移策略对应的目标文件列表；读取所述目标文件列表，获得所述目标文件的元数据编号；根据所述元数据编号查找目标文件；根据所述迁移策略迁移所述目标文件。通锅将文件系统中需要迁移的文件对应生成文件列表，在迁移时不必遍历所有文件，直接遍历文件列表再通过文件列表中的文件相关数据迁移相应的文件即可，大大提升重新条带化的效率，以及文件系统的性能和响应速度。本申请还提供了一种文件迁移的系统，具有上述有益效果，此处不再赘述。

附图说明