[发明专利]一种基于分布式存储系统的碎片文件存储方法

摘要

本发明公开了一种基于分布式存储系统的碎片文件存储方法，利用内存映射文件技术，将碎片文件连续映射到内存中，合并为一大文件，再对大文件进行存储。本方明还提供了一种与上述方法相对应的存储节点，包括：碎片文件判断单元、碎片文件映射空间、碎片文件元数据单元、内存映射空间元数据单元、指针列表单元以及内存交换控制单元。本发明具有以下有益效果：由于本发明将碎片文件合并为大文件进行存储，大大提高了磁盘的利用效率，且大大提高了连续碎片文件处理的效率；由于本发明的内存映射空间采用非交换内存，配合相应的文件优先级以及交换策略，大大提高了随机碎片文件处理的效率。

主权项

一种基于分布式存储系统的碎片文件存储方法，其特征在于，包括如下步骤：在存储节点的内存中分配一碎片文件映射空间，所述碎片文件映射空间是连续的；在存储节点中，根据预设的阈值对若干源文件进行判断，若某一源文件的大小小于所述阈值，则该源文件即为碎片文件，经判断后得到若干碎片文件；其中，每个源文件都预设有一个对应的源文件编号；将若干碎片文件连续的映射到所述碎片文件映射空间中，合并成为大文件；当所述大文件的大小达到所述阈值时，当前大文件的合并结束，若还有剩余的碎片文件，则按照上述步骤继续合并，从而得到若干大文件；在合并的同时，为每个大文件分配一个对应的大文件编号；根据需要决定各大文件在所述碎片文件映射空间与磁盘之间的交换；将所述碎片文件对应的源文件编号转换为大文件编号加相应的偏移。