[发明专利]一种分布式文件系统中垃圾元数据的在线回收方法

摘要

本发明了公开一种分布式文件系统中垃圾元数据的在线回收方法。该方法通过多路搜索树对元数据在本地文件系统上的存储结构进行快照，在处理删除义件或目录动作时，不去同步清理垃圾索引节点，而是将描述索引节点文件的树节点及其所有祖先节点置上标志。当垃圾索引节点数量达到一个阈值时，唤醒异步回收线程，该线程遍历多路搜索树，通过垃圾标志位确定节点或其子节点是否存在垃圾元数据，然后做进一步垃圾清理工作。该发明可以在基本不影响分布式文件系统对外提供服务的情况下，去回收文件系统运行中产生的无效元数据，从而节省元数据服务器上的存储资源，减轻元数据服务器访问本地文件系统时的负载。

主权项

一种分布式文件系统中垃圾元数据的在线回收方法，其特征在于：包括如下步骤：A、索引节点采用64位无符号整数进行编号，从0开始，分配索引节点号时，逐渐累加，每32K个索引节点元数据存放于同一文件，所有的索引节点文件在磁盘上按照节点编号采用两级树状结构目录进行存放；B、索引节点文件存储的目录结构组织成一个多路搜索树，树的每个非叶子节点表征一个子目录，而叶子节点则代表索引节点文件，每个树节点用特定的数据结构来表述；当删除文件或目录时，首先在叶子节点数据结构中将索引节点文件中对应的索引节点置无效，然后置位叶子节点的垃圾存在标志，同时置位该叶子节点所有祖先节点的垃圾存在标志；发明中用全局变量记录目前系统中无效索引节点数目，每进行一次删除操作，则增加计数，如果计数达到一个预定的门限，则唤醒垃圾处理线程；C、垃圾处理线程被唤醒后，从多路搜索树的根节点开始遍历搜索树：如果节点的垃圾标志被置位，则表示该节点之下的子树有垃圾元数据存在，需要继续处理；如果节点的垃圾标志没有被置位，则表示该子树下面所有的叶子节点不存在垃圾元数据，跳过整个子树，去处理其兄弟节点；D、对于有垃圾标志的叶子节点，垃圾回收处理分为两种情况：第一种情况，该索引节点文件中不存在有效的索引节点，直接删除文件；第二种情况，该索引文件中尚存在有效的索引节点，需要将有效的索引节点拷贝到一个临时的文件中去，形成带有空洞的文件，删除原文件，然后将临时的文件重命名为该索引节点文件名；E、存放元数据文件的目录的垃圾回收，是在处理完元数据文件之后进行的，当处理完一个目录下的所有元数据文件后，检查该目录下的有效目录项数目是否为0，如果为0，则表示该目录已空，可以删除，处理完一个目录后，再去处理它的其他兄弟节点，当所有兄弟节点都处理完毕后，检查其父目录的有效目录项的数目，如果为0，删除父目录。