[发明专利]一种分级存储系统中的海量小文件迁移方法

摘要

本发明公开了一种分级存储系统中海量小文件迁移的方案，属于存储技术领域，解决现有迁移方案中所存在的海量小文件传输效率低问题。本发明的方法，用于具有前端Lustre文件系统和后端HDFS文件系统的分级存储架构中，包括处理文件请求步骤、文件相关性计算步骤、阈值计算步骤、合并小文件步骤、数据重删步骤和数据传输步骤。本发明的装置，包括请求处理模块、文件相关性模块、阈值计算模块、小文件合并模块、数据重删模块和数据传输模块。本发明充分发挥Lustre和HDFS文件系统自身优点，透彻分析小文件归档和读取过程中的性能瓶颈，通过定量的阈值计算选择保证任一时刻采用最优方案进行小文件传输，从而提高海量小文件在两级文件系统之间的迁移效率。

主权项

1.一种分级存储系统中的海量小文件迁移方法，其特征在于，包括以下步骤：(1)从客户端接收多个文件请求，并判断这些文件请求是归档请求还是读取请求，如果是归档请求，则进入步骤(2)，如果是读取请求，则转入步骤(11)；(2)采用文件相关性量化模型对归档请求对应的磁盘中的N个小文件，进行文件相关性计算，并形成N*N的相关性矩阵，该矩阵中的元素(i，j)表示第i个小文件和第j个小文件之间的文件相关性；(3)初始化计数器k＝1；(4)初始化计数器sum＝0；(5)取相关性矩阵中第1列中相关性值最大的一个小文件，并将该小文件对应的归档请求放入第k个归档请求集合中，该相关性值在矩阵中的行号为m，列号为1，并设置sum＝sum+该小文件的大小；(6)判断sum的值是否大于或等于第一阈值，如果是则转入步骤(7)，否则转入步骤(8)；(7)删除该相关性矩阵中的第1行和第1列，设置k＝k+1，并判断该相关性矩阵是否是空矩阵，如果是，则转入步骤(9)，否则返回步骤(4)；(8)删除相关性矩阵中第m行和第m列，设置N＝N‑1，并判断N是否为0，如果是则转入步骤(9)，否则返回步骤(5)；(9)对于k个归档请求集合中的每一个而言，读取该归档请求集合中所有归档请求对应的小文件，并将这些小文件合并为大文件；(10)将所有k个大文件传送到后端文件系统，完成归档；(11)将所有的读取请求按照其对应的小文件在后端文件系统中对应的大文件划分为多个读取请求集合，其数量为M；(12)设置计数器n＝1；(13)取第n个读取请求集合，并计算该第n个读取请求集合的有效数据率，其等于该第n个读取请求集合中所有读取请求所对应的小文件的大小之和/该第n个读取请求集合中所有读取请求对应的小文件在后端文件系统中对应的大文件的大小S；(14)判断计算得到的有效数据率是否大于第二阈值，如果是则转入步骤(15)，否则转入步骤(16)；(15)在后端文件系统中直接读取该第n个读取请求集合中所有读取请求对应的小文件在后端文件系统中对应的大文件，并将该大文件传送到前端文件系统，然后转入步骤(17)；(16)在后端文件系统中读取该第n个读取请求集合中所有读取请求对应的小文件，并将其合并为大文件，并将该大文件传送到前端文件系统，然后转入步骤(17)；(17)设置计数器n＝n+1，并判断n是否大于或等于M，如果是则过程结束，否则返回步骤(13)。