[发明专利]存储资源管理方法、装置、电子设备及电子设备、系统

说明书

一种存储资源管理方法、装置、电子设备及电子设备、系统，应用于分布式存储系统的存储资源管理，其中，所述分布式存储系统以固态硬盘作为写缓存；所述存储资源管理方法包括：删除所述固态硬盘中预定范围的存储空间内的数据；删除数据后将所述预定范围的存储空间全部或部分识别成新增的存储介质，将所述新增的存储介质的信息上报给所述分布式存储系统中的管理节点。本申请至少一个实施例能够提高存储资源利用率。

技术领域

本发明涉及分布式存储领域，尤其涉及一种存储资源管理方法、装置、电子设备及电子设备、系统。

背景技术

谷歌文件系统(Google File System，GFS)奠定了现代大规模分布式存储系统的基石，阿帕奇软件基金顶级项目Hadoop的重要组件Hadoop分布式文件系统(HadoopDistributed File System，HDFS)是类GFS的系统，已经广泛运用在学术界和工业界。

如图1所示，典型分布式存储系统主要包含三个模块，以三种角色部署在由普通商用服务器构成的集群上。分布式存储系统的三个模块是指：

客户端库(Clients)：包括多个客户端(Client)，为用户提供访问分布式存储系统的各种接口；

数据节点(DataNode)：数据块管理模块，管理分布式存储系统的数据块及相关元数据，执行管理节点指派的任务；

管理节点，比如但不限于是名字节点(NameNode)：文件系统命名空间管理模块，管理分布式存储系统的元数据，如文件名到数据块元数据的映射等。

DataNode内部将多块硬盘(一般是串行高级技术附件(Serial AdvancedTechnology Attachment，SATA)硬盘驱动器(Hard Disk Drive，HDD))组织成单一逻辑存储(Single Logical Storage)资源池，用来存储用户数据，为 Clients的读/写数据的请求服务；DataNode会将磁盘容量信息和存储的数据块信息上报管理节点，供管理节点进行决策。这种模型下，DataNode对外暴露的存储介质是单一类型的，一般是SATA HDD。

为了保证性能，一般情况下写请求落到DataNode的页缓存(pagecache) 里就认为写操作成功，操作系统会异步地把pagecache里的数据持久化到物理设备上。如果在异步持久化尚未发生之前，系统掉电重启，会导致部分提交(commit)给用户的数据丢失。

为了保证数据安全性和写性能，目前的一种解决方案是在分布式存储系统的DataNode或相当于DataNode的节点，比如块服务器(Chunkserver)上增加固态硬盘(SolidState Drive，SSD)作为写缓存(Cache)，用户数据写入以直接(direct)、同步(sync)的方式写到写Cache里，Chunkserver异步将写Cache里的数据转储到SATA HDD上。

但是，该解决方案至少存在以下问题：受限于上层应用访问的压力，SSD 的资源利用率比较低，得不到充分利用。

发明内容

本申请提供一种存储资源管理方法、装置、电子设备及电子设备、系统，能够提高存储资源利用率。

本申请采用如下技术方案。

一种分布式存储系统中的存储资源管理方法，其中，所述分布式存储系统以固态硬盘作为写缓存；所述存储资源管理方法包括：

删除所述固态硬盘中预定范围的存储空间内的数据；

删除数据后将所述预定范围的存储空间全部或部分识别成新增的存储介质，将所述新增的存储介质的信息上报给所述分布式存储系统中的管理节点。

其中，所述固态硬盘的存储空间中可以包括多个依次排列的文件；