[发明专利]数据处理方法及分布式存储集群

权利要求书

1.一种数据处理方法，其特征在于，应用于分布式存储集群，所述分布式存储集群包括至少一个集群节点，每一个集群节点包括至少一块用于存储数据的磁盘，每一块磁盘按照预设Block大小划分为多个Block，每一个集群节点针对本节点上的每一块磁盘部署对应的磁盘管理模块，所述分布式存储集群还配置有至少一个LUN，每一个LUN按照预设Segment大小划分为多个逻辑区间，每一个逻辑区间按照预设Block大小划分为多个子逻辑区间，所述分布式存储集群还部署有集群管理模块，所述方法包括：

接收到针对目标LUN的写请求的第一集群节点确定所述写请求在所述目标LUN中对应的至少一个第一逻辑区间，将所述写请求拆分成针对每一个第一逻辑区间的子写请求；

针对每一个第一逻辑区间执行如下处理：

所述第一集群节点从已记录的逻辑区间与Segment的标识的映射关系中，查询是否存在与当前第一逻辑区间对应的第一Segment的标识；

如果存在，所述第一集群节点从已记录的Segment的标识与磁盘的标识的映射关系中，获取与所述第一Segment的标识对应的第一磁盘的标识；

如果不存在，所述第一集群节点向所述集群管理模块发送用于请求分配Segment的分配请求，所述分配请求包括所述目标LUN的标识以及当前第一逻辑区间的起始地址；

所述集群管理模块为所述当前第一逻辑区间分配第一Segment，指定用于存储该第一Segment对应数据的第一磁盘；并将所述目标LUN的所述当前第一逻辑区间与所述第一Segment的标识的映射关系，以及所述第一Segment的标识与所述第一磁盘的标识的映射关系存储至用于存储集群元数据的第二集群节点；

所述集群管理模块向所述第一集群节点返回分配响应，所述分配响应包括所述第一Segment的标识与所述第一磁盘的标识的映射关系；

所述第一集群节点向所述第一磁盘对应的第一磁盘管理模块发送针对所述第一Segment的子写请求，该子写请求包括所述第一Segment的标识、待写入数据在所述第一Segment中的起始地址、待写入数据大小；

所述第一磁盘管理模块根据待写入数据在所述第一Segment中的起始地址以及待写入数据大小，确定所述待写入数据在所述第一Segment中对应的至少一个第一子逻辑区间；

所述第一磁盘管理模块从已记录的子逻辑区间与Block的标识的映射关系中，查询是否存在与各第一子逻辑区间对应的Block的标识；

如果所述各第一子逻辑区间中存在没有找到对应Block标识的至少一个第二子逻辑区间，所述第一磁盘管理模块分别为各第二子逻辑区间分配用于存储第二子逻辑区间对应数据的Block；并在所述第一磁盘中存储所述第一Segment中各第二子逻辑区间与对应Block的标识的映射关系；

所述第一磁盘管理模块在确定各第一子逻辑区间对应的Block后，将各第一子逻辑区间对应数据分别写入各第一子逻辑区间对应的Block中。

2.如权利要求1所述的方法，其特征在于，所述集群管理模块指定用于存储当前第一逻辑区间对应数据的第一磁盘之前，所述方法还包括：

每一个磁盘管理模块在检测到对应磁盘发生容量变化，且容量变化量达到预设的第一容量变化阈值时，向所述集群管理模块上报其所管理磁盘的容量信息；

所述集群管理模块指定用于存储当前第一逻辑区间对应数据的第一磁盘，包括：

所述集群管理模块根据各磁盘的容量信息，从所述各磁盘中，选择剩余容量最大的磁盘作为第一磁盘。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

所述磁盘管理模块检测到磁盘的剩余容量小于预设的剩余容量阈值，且容量变化量达到预设的第二容量变化阈值时，向所述集群管理模块上报磁盘的容量信息，其中，所述第二容量变化阈值小于所述第一容量变化阈值。

4.如权利要求1所述的方法，其特征在于，所述第一磁盘管理模块分别为各第二子逻辑区间分配用于存储第二子逻辑区间对应数据的Block，包括：

获取用于记录第一磁盘中各Block分配情况的位图，其中，所述位图的每一位用于标识对应Block是否已分配；

分别为各第二子逻辑区间分配标识为未分配的位对应的Block。