[发明专利]一种分布式存储系统中的数据处理方法及系统

说明书

本发明公开了一种分布式存储系统中的数据处理方法及系统，所述方法包括：分别创建各个分片的元数据处理任务，其中，当前分片的元数据处理任务中至少包括所述当前分片的分片标识；在执行所述当前分片的元数据处理任务时，读取所述当前分片的分片统计信息，并基于所述当前分片的分片标识，从操作日志集合中读取属于所述当前分片的操作日志；依次处理读取的各个所述操作日志，并根据处理结果更新所述当前分片的分片统计信息。本申请提供的技术方案，能够提高系统的稳定性和整体性能。

技术领域

本发明涉及互联网技术领域，特别涉及一种分布式存储系统中的数据处理方法及系统。

背景技术

在当前的分布式存储系统中，存储桶(bucket)的元数据可以存储于bucket index的数据结构中。在传统的分布式存储系统中，单个存储桶的元数据可以全部存储于同一个分片(shard)文件中。然而，随着存储桶中文件数据的不断增加，分片文件的数据量也在不断增加。过大体积的分片文件，会导致底层存储性能消耗严重、一致性校验过程耗时较长等一系列问题。

鉴于此，目前可以将同一个存储桶划分为多个分片，并在这多个分片中分别存储一部分元数据。具体地，如图1所示，现有的分布式存储系统可以通过omap来实现不同的分片，omap可以存放元数据的文件，当用户想要上传某个目标文件时，分布式存储系统可以选定一个文件存储网关(RGW，Rados GateWay)，并通过选定的文件存储网关来确定，该目标文件的元数据应当被存放入哪个omap中。

现有的这种通过omap来实现分片的方式，在创建存储桶的时候，就需要确定应当创建多少个omap对象，后续可以根据创建的omap对象来管理各个分片的数据。随着存储桶内数据的不断变化，后期很可能会需要增加或者减少omap对象。然而在增加或者减少omap对象时，为了不影响正常的分片数据业务，需要将整个系统设置为离线状态，这样无疑会影响用户的使用体验。此外，一开始需要创建的omap对象的数量也很难确定：omap对象的数量过少，会影响文件并发上传的性能；omap对象的数量过多，会影响存储桶的列表性能。因此，现有的通过omap来实现分片的方式，会导致系统不够稳定，而且系统的整体性能很难调整至最优状态。

发明内容

本申请的目的在于提供一种分布式存储系统中的数据处理方法及系统，能够提高系统的稳定性和整体性能。

为实现上述目的，本申请一方面提供一种分布式存储系统中的数据处理方法，所述分布式存储系统中包含至少一个存储桶，每个所述存储桶被划分为预设数量的分片，并且各个所述分片具备各自的分片统计信息；所述方法包括：分别创建各个所述分片的元数据处理任务，其中，当前分片的元数据处理任务中至少包括所述当前分片的分片标识；在执行所述当前分片的元数据处理任务时，读取所述当前分片的分片统计信息，并基于所述当前分片的分片标识，从操作日志集合中读取属于所述当前分片的操作日志；依次处理读取的各个所述操作日志，并根据处理结果更新所述当前分片的分片统计信息。

为实现上述目的，本申请另一方面还提供一种分布式存储系统中的数据处理系统，所述分布式存储系统中包含至少一个存储桶，每个所述存储桶被划分为预设数量的分片，并且各个所述分片具备各自的分片统计信息；所述数据处理系统包括：任务创建单元，用于分别创建各个所述分片的元数据处理任务，其中，当前分片的元数据处理任务中至少包括所述当前分片的分片标识；任务执行单元，用于在执行所述当前分片的元数据处理任务时，读取所述当前分片的分片统计信息，并基于所述当前分片的分片标识，从操作日志集合中读取属于所述当前分片的操作日志；日志处理单元，用于依次处理读取的各个所述操作日志，并根据处理结果更新所述当前分片的分片统计信息。