[发明专利]一种分布式存储系统中数据分布的方法及装置

说明书

本发明提供一种分布式存储系统中数据分布的方法及装置，其中，所述方法包括：当所述分布式存储系统初始化时，加载初始化信息；当在所述分布式存储系统中写入目标文件时，根据所述目标文件的尺寸以及文件块尺寸，将所述目标文件划分为多个切片；在所述分布式存储系统中的节点中确定逻辑起始点，并确定逻辑分组长度；将节点按照逻辑分组长度划分为多个逻辑组，并在各个逻辑组中分别选取一个偏移节点；基于所述逻辑起始点、各个偏移节点以及节点总数，确定物理分组；将根据所述目标文件划分得到的所述多个切片依次存放于所述物理分组内的各个节点中。本发明提供的技术方案，能够同时满足均衡性高、可靠性强、计算量小的评价指标。

技术领域

本发明涉及数据存储技术领域，特别涉及一种分布式存储系统中数据分布的方法及装置。

背景技术

在分布式存储系统中，文件的数据内容以块为粒度进行切分并将其分散存储在不同的存储节点中，已成为一种通常的处理手段(以下简称分布式的处理手段)。块的尺寸可根据系统中普遍的文件尺寸进行设置，典型的块大小为4KB至4MB不等。相较于集中式的处理手段，分布式的处理手段通过数据块分散存储在不同节点，可以充分地发挥存储系统的并发处理能力。例如读取同一个尺寸为64MB的文件，集中式的处理手段产生的时延为一次读取64MB的时延，而分布式的处理手段产生的时延仅为64路并发读取1MB的时延，显然分布式的处理手段大幅降低了读取操作的时延。

因此，文件的数据内容在以块为粒度切分之后，如何分布在各存储节点中，成为当前分布式存储系统领域的重要技术热点。一般地，评价一种数据分布方法的优劣，主要从均衡性、可靠性以及计算量方法进行考量。

现有的数据分布方法包括：

1.随机选取方法。该种方式在为数据块分配节点时完全随机，从宏观上来说，对于大规模的存储系统而言，各节点的数据块将会十分均衡；计算量也很小；但这种完全随机的方法无法显性地控制数据的各副本不在同一个故障域中，一种极端的情况甚至是同一文件的各数据块及副本被分配到同一节点中。另外，在小规模的存储系统中，各节点的均衡性难以保证。

2.固定分段选取方法。该种方式根据故障域进行分段，在段内进行随机选取节点，这种方式提供了较好的可靠性，计算量也不大，但是由于故障域是固定的，因此分段也是固定的，数据分布结果的可能性十分有限；同时，在节点数量无法被段数整除的情况下，亦无法保证各段的节点数量相等，因此均衡性难以得到满足。

3.哈希选取方法。该种方式为每一个切片分配一个全局唯一的号码，并通过某种计算规则求得散列值，然后对节点数进行求余操作，其余数即为切片所存储的节点。该种方法具有较好的均衡性，但计算量较大，可靠性略差。

由上可见，现有技术中的数据分布存储方法，均无法同时满足均衡性高、可靠性强、计算量小的评价指标。

发明内容

本发明的目的在于提供一种分布式存储系统中数据分布的方法及装置，能够同时满足均衡性高、可靠性强、计算量小的评价指标。

为实现上述目的，本发明提供一种分布式存储系统中数据分布的方法，所述方法包括：当所述分布式存储系统初始化时，加载初始化信息；其中，所述初始化信息包括所述分布式存储系统中的节点总数、单文件分配节点数以及文件块尺寸；当在所述分布式存储系统中写入目标文件时，根据所述目标文件的尺寸以及所述文件块尺寸，将所述目标文件划分为多个切片；在所述分布式存储系统中的节点中确定逻辑起始点，并根据所述节点总数和所述单文件分配节点数，确定逻辑分组长度；将所述分布式存储系统中的节点按照逻辑分组长度划分为多个逻辑组，并在各个逻辑组中分别选取一个偏移节点；基于所述逻辑起始点、各个偏移节点以及所述节点总数，确定物理分组；其中，所述物理分组中的节点的数量与所述偏移节点的数量相同；将根据所述目标文件划分得到的所述多个切片依次存放于所述物理分组内的各个节点中。

进一步地，按照下述公式将所述目标文件划分为多个切片：