[发明专利]一种磁盘文件管理方法及系统

说明书

本发明公开了一种磁盘文件管理方法及系统，该方法包括将物理磁盘划分为多个逻辑磁盘；建立物理磁盘块组动态分配策略，以为所述逻辑磁盘动态分配物理磁盘空间；进行物理磁盘空间分配信息维护；本发明还提供了实施该方法的系统，本发明通过将物理磁盘划分多个逻辑磁盘以此作为云存储系统集群磁盘管理单位，且逻辑磁盘支持动态分配使用物理空间，使得系统在磁盘空间管理和数据均衡维护、物理磁盘利用率和数据可靠性方面得到了较大改善。

技术领域

本发明涉及磁盘管理技术领域，具体而言，为一种磁盘文件管理方法及系统。

背景技术

随着信息技术发展的日新月异，全球数据量呈爆炸式增长，云存储以其安全、稳定、便捷及海量等优势受到企业及个人用户的青睐，其市场需求快速增长；同时，数据量及用户量的与日俱增也对云存储服务提出越来越高的要求。硬盘作为数据最终的存储介质，硬盘性能将决定性地影响整个云存储系统性能。如何将硬件性能发挥到极致，即如何规划硬盘空间、管理维护硬盘数据，成为云存储服务提供商研究的着力点，因此数据节点的本地磁盘文件系统设计对云存储系统性能至关重要。

分布式云存储系统在部署时需要将集群节点内所有有效磁盘进行格式化处理；同时考虑到硬盘设备容量很大(TB级别)，出于管理和使用上的原因，通常将其划分成多个分区再按指定的文件系统将其格式化处理；众所周知，任何文件系统中的数据分为数据和元数据，数据是指文件内实际数据，而元数据指用来描述文件特征的数据(属性、分布等)。因此，磁盘分区格式化时将在分区特定位置写入关于该文件系统的控制信息并预留部分空间以便后续记录元数据；比如，主流的Linux文件系统——第四代扩展文件系统(Fourthextended filesystem,Ext4)，将磁盘设备划分为一系列块组，文件系统控制信息元数据记录在设备起始块组内；Ext4文件系统引入新特性，将多个连续块组组成逻辑块组，在逻辑块组的起始块组内也需要记录逻辑块组相关元数据并预留部分空间。元数据的集中式管理，有利于加速元数据的载入和快速查询处理，但引入新的问题——元数据及其预留空间占用所带来的空间浪费。磁盘多分区的情况下该空间浪费问题将进一步放大。

在磁盘上部署传统文件系统如Linux主流文件系统Ext4，尽管其元数据集中管理、数据空间连续分配、空间扩展、磁盘碎片整理等多方面优越特性可以保证本地存储的高效可靠性及用户的广泛性，但是，对于云存储系统而言，在集群节点内磁盘上部署传统文件系统，有如下几个劣势：

第一，将硬盘划分多个分区进行管理，受限于操作系统对分区数量及容量的约束，以及分区扩容及整理压缩等空间管理存在限制，应对多样化的用户场景时，对集群系统的磁盘空间管理及数据均衡功能的实现造成极大不便；

第二，磁盘空间缩容时数据迁移所带来的性能开销影响系统正常业务；

第三，文件系统元数据占用的系统空间随节点及磁盘数量的增加而增多，其中不必要的元数据项及空间预留增大系统成本；

第四，Ext4属于开源项目，文件系统的可靠性、可维护性等方面均存在较多问题，不适合存储生产环境中的关键数据。

有鉴于此，特提出本发明。

发明内容

针对现有技术中的缺陷，本发明提供一种磁盘文件管理方法及系统。

为了实现上述目的，本发明的技术方案为：

一种磁盘文件管理方法，包括

将物理磁盘的数据区划分成多个有序块组；由所述多个有序块组当中任意序号的多个块组构建逻辑磁盘；

当所述逻辑磁盘收到对象写请求时，为所述逻辑磁盘分配所述物理磁盘内的空闲块组；当所述逻辑磁盘收到对象删除请求，所述逻辑磁盘将已空闲的块组归还给所述物理磁盘；