[发明专利]数据处理方法及分布式存储集群

说明书

本申请提供一种数据处理方法及分布式存储集群，该分布式存储集群包括集群管理模块和磁盘管理模块，其中，集群管理模块负责建立Segment到存储该Segment对应数据的磁盘的映射关系，并将该映射关系存储至集群元数据服务器；磁盘管理模块负责分配Block，该Block大小小于Segment大小，建立Block与Segment内逻辑区间的映射关系，并将该映射关系存储至磁盘。可以看出，本申请将元数据分为两部分，一部分存储于集群元数据服务器，一部分存储于磁盘中，以减轻集群元数据服务器的存储压力，同时，通过采用更小粒度的Block分配方式，以降低存储资源的浪费。

技术领域

本申请涉及存储技术领域，尤其涉及一种数据处理方法及分布式存储集群。

背景技术

分布式存储集群通常由若干通用物理服务器组成。集群中的物理服务器亦称为集群节点，每一个集群节点包括至少一块用于存储数据的物理磁盘。

用户基于逻辑单元号(英文：Logical Unit Number，缩写：LUN)访问集群中各集群节点上的存储资源。这就涉及到逻辑资源到物理资源的映射，以实现将分散的、小粒度的存储资源分配给LUN。

分布式存储集群支持精简配置，即，只有在发生实际写入时，才为LUN分配真实的物理空间。在分配过程中，记录已分配的逻辑资源到物理资源的映射关系。该映射关系通常包括：LUN内逻辑地址范围到Segment(段，LUN内逻辑空间划分的基本单元)的映射关系，Segment到磁盘内Block(块，磁盘内物理空间划分的基本单元)的映射关系。这些映射关系被称为集群元数据，通常存储于集群中的元数据服务器。

随着集群规模的不断壮大，需要维护的元数据的数据量也在线性增大，给集群元数据服务器带来不小的压力。为了控制产生的元数据的体量，通常划分较大的Segment，相应地，存储该Segment对应数据的Block的容量也随之增大。即，采用较大的空间分配粒度分配存储资源，比如，设置Segment和Block的大小均为256MB。

在需要写入大量小块随机数据(比如，64KB)的情况下，这种较大粒度的分配方式，会导致存储空间浪费较大。

发明内容

有鉴于此，本申请提出一种数据处理方法及分布式存储集群，用以在减轻元数据服务器存储压力的前提下，更加有效地利用存储资源。

为实现上述申请目的，本申请提供了如下技术方案：

第一方面，本申请提供一种数据处理方法，应用于分布式存储集群，所述分布式存储集群包括至少一个集群节点，每一个集群节点包括至少一块用于存储数据的磁盘，每一块磁盘按照预设Block大小划分为多个Block，每一个集群节点针对本节点上的每一块磁盘部署对应的磁盘管理模块，所述分布式存储集群还配置有至少一个LUN，每一个LUN按照预设Segment大小划分为多个逻辑区间，每一个逻辑区间按照预设Block大小划分为多个子逻辑区间，所述分布式存储集群还部署有集群管理模块，所述方法包括：

接收到针对目标LUN的写请求的第一集群节点确定所述写请求在所述目标LUN中对应的至少一个第一逻辑区间，将所述写请求拆分成针对每一个第一逻辑区间的子写请求；

针对每一个第一逻辑区间执行如下处理：

所述第一集群节点从已记录的逻辑区间与Segment的标识的映射关系中，查询是否存在与当前第一逻辑区间对应的第一Segment的标识；

如果存在，所述第一集群节点从已记录的Segment的标识与磁盘的标识的映射关系中，获取与所述第一Segment的标识对应的第一磁盘的标识；

如果不存在，所述第一集群节点向所述集群管理模块发送用于请求分配Segment的分配请求，所述分配请求包括所述目标LUN的标识以及当前第一逻辑区间的起始地址；