[发明专利]一种用于分布式集群存储上的文件自精简方法及设备

说明书

本发明提供用于分布式集群存储上的文件自精简方法及设备，方法包括：为目录或用户分配存储空间配额；实时统计目录或用户数据操作过程中的存储空间配额使用信息；上报所述配额使用信息；根据上报的配额使用信息控制目录或用户数据操作。通过上述方法，可以更好的为目标用户自动预分配一定量的空间，当达到预分配的空间时，禁止任何引起目录变大的操作。

技术领域

本发明涉及计算机服务器领域，尤其涉及一种用于分布式集群存储上的文件自精简方法及设备。

背景技术

随着时代的发展，大量的数据文件产生，计算机通过文件系统管理、存储数据，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统可以有效解决数据的存储和管理难题将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输，建立庞大的集群系统。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。分布式文件系统在海量存储中发挥着独一无二的优势。

分布式集群存储通过fuse(用户空间文件系统)客户端、CIFS共享和NFS共享等服务可以很好的为视频监控、广电媒资、高性能等各项场景提供很好的服务，然而在传统的资源分配方法中，需要系统管理员对当前和未来业务的发展规模进行正确的预判，提前做好空间资源的规划。但是这并非易事，在实际中，由于对应用系统规模的估计不准，往往会造成存储空间分配的浪费，比如为一个目录分配了10TB的空间，但是该目录只需要6TB的存储空间，就造成了4TB存储空间的浪费，而该空间已经被分配，亦无法再次进行分配使用。即使是最优秀的系统管理员，也不可能恰如其分的分配好所有资源，而没有一点浪费。根据业界的权威统计，由于预分配了太大的存储空间而导致的资源浪费，大约占总存储空间的30％左右。

发明内容

为解决上述技术问题，本发明提出了以下方案：

第一方面，本发明提供一种用于分布式集群存储上的文件自精简方法，包括：

为目录或用户分配存储空间配额；

实时统计目录或用户数据操作过程中的存储空间配额使用信息；

上报所述配额使用信息；

根据上报的配额使用信息控制目录或用户数据操作。

进一步的，所述配额包括软配额及硬配额或预分配空间值。

进一步的，配额还包括预警配额。

进一步的，软配额值小于硬配额值或预分配空间值，预警配额值小于等于软配额值，硬配额值或预分配空间值大于系统总空间。

进一步的，根据上报的配额使用信息控制目录或用户数据操作，包括：

判断上报的配额使用信息是否超出软配额值或预警配额值；

若超出，则输出告警信息到系统日志，并继续进行目录或用户数据操作；

若未超出，则继续进行目录或用户数据操作。

进一步的，根据上报的配额使用信息控制目录或用户数据操作，还包括：

判断上报的配额使用信息是否超出硬配额值或预分配空间值；

若超出，禁止目录或用户数据操作，并输出错误信息到系统日志；

若未超出，则继续进行目录或用户数据操作。

进一步的，方法还包括：

在配额使用信息超出软配额值或预警配额值时，增加软配额值或预警配额值。