[发明专利]一种分布式存储系统的对象聚合方法和装置

说明书

本发明公开了一种分布式存储系统的对象聚合方法和装置，方法包括：在分布式存储系统的业务进程运转的状态下，为分布式存储系统中分配缓存聚合存储池；启动并通过遍历进程来遍历分布式存储系统中的原始数据以确定原始数据是否具有聚合特征，其中遍历进程独立于业务进程并且相对于业务进程具有更低的资源调用优先级；响应于确定遍历进程遍历到的原始数据具有聚合特征而将原始数据写入缓存聚合存储池；启动并通过聚合进程来将缓存聚合存储池中的原始数据聚合为聚合数据并写入分布式存储系统。本发明能够在不影响正常业务的前提下将分布式存储系统的小对象聚合成大对象方式进行存储，在分布式存储系统发生故障时能快速恢复数据，提升稳定性和可靠性。

技术领域

本发明涉及分布式存储领域，更具体地，特别是指一种分布式存储系统的对象聚合方法和装置。

背景技术

随着海量非结构化数据的爆炸性增长，分布式对象存储已经成为用户构建数据中心架构的存储基石，越来越多的关键业务接入分布式对象存储中。尤其是海量票据影像文件在存储集群中会有百亿的底层存储对象，这些对象大多数不足100K，当磁盘故障需要恢复数据时，对于海量小对象数据重构耗时就会花费很长时间，部分场景下一个磁盘故障数据重构恢复需要数星期的时间才能恢复，从而对分布式存储集群的可靠性带来了很大风险。

针对现有技术中小数据对象影响数据重构效率的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种分布式存储系统的对象聚合方法和装置，能够在不影响正常业务的前提下将分布式存储系统的小对象聚合成大对象方式进行存储，以便于在分布式存储系统发生故障时能快速恢复数据，提升稳定性和可靠性。

基于上述目的，本发明实施例的第一方面提供了一种分布式存储系统的对象聚合方法，包括执行以下步骤：

在分布式存储系统的业务进程运转的状态下，为分布式存储系统中分配缓存聚合存储池；

启动并通过遍历进程来遍历分布式存储系统中的原始数据以确定原始数据是否具有聚合特征，其中遍历进程独立于业务进程并且相对于业务进程具有更低的资源调用优先级；

响应于确定遍历进程遍历到的原始数据具有聚合特征而将原始数据写入缓存聚合存储池；

启动并通过聚合进程来将缓存聚合存储池中的原始数据聚合为聚合数据并写入分布式存储系统。

在一些实施方式中，方法还包括执行以下步骤：

响应于业务进程在运转中请求读取未经遍历进程遍历的请求数据而使业务进程读取请求数据，同时使遍历进程确定请求数据是否具有聚合特征；

响应于确定业务进程读取的请求数据具有聚合特征而将请求数据作为原始数据写入缓存聚合存储池，并将请求数据标记为已经被遍历进程遍历过。

在一些实施方式中，方法还包括执行以下步骤：

响应于业务进程在运转中请求写入请求数据而使业务进程写入请求数据，同时使遍历进程确定请求数据是否具有聚合特征；

响应于确定业务进程写入的请求数据具有聚合特征而将请求数据作为原始数据直接写入缓存聚合存储池。

在一些实施方式中，确定原始数据是否具有聚合特征包括：确定原始数据的术语尺寸是否小于预定的聚合尺寸阈值。

在一些实施方式中，方法还包括执行以下步骤：

响应于确定聚合数据成功写入分布式存储系统而从缓存聚合存储池中删除原始数据和聚合数据。

本发明实施例的第二方面提供了一种分布式存储系统的对象聚合装置，包括：

处理器；