[发明专利]一种数据分区的方法及装置

说明书

本申请公开了一种数据分区的方法及装置，涉及数据处理技术领域，能够解决当存储节点的数量增多时出现的存储节点之间负载不均衡的问题。本申请的方法包括：当检测到新增存储节点时，确定分布式存储系统中每个存储节点承载的平均分区数量，若平均分区数量小于预设值，则根据预设值以及存储节点总数量将分区总数量增加至目标分区总数量，以使得平均分区数量达到预设值，然后按照目标分区总数量进行数据分区。本申请适用于数据分区的流程中。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据分区的方法及装置。

背景技术

分布式存储系统是将数据分散存储在多台独立的存储设备上的存储系统，每个存储设备相当于一个存储节点。目前比较常见的数据分布方法为哈希分布，通过哈希分布算法可以把数据对应的哈希空间划分为固定数量的分区，然后再建立分区与存储节点之间的映射关系，一般会将分区尽可能均匀地分配至各存储节点，分区与存储节点之间的映射关系被称为分区视图。其中，可以将一个分区映射到一个存储节点上，或者当需要对分区中的数据进行备份时，也可以将一个分区映射到多个存储节点上。例如，如图1所示，假设有3个分区，且当前存在6个存储节点，如果需要两份备份数据，则需要将每个分区分别映射到三个存储节点上，比如分区1对应存储节点1、3、5，分区2对应存储节点2、4、6，分区3对应存储节点3、5、6。

然而，分布式存储系统中的分区数量是固定的，而存储节点的数量会随着数据量的增多而增加，当存储节点较多时，会使得映射到每个节点上的分区个数太少，例如，当分区数量为100，存储节点的数量为1000时，如果每个分区只需要映射到3个存储节点，则此时最多只需要300个存储节点，就会出现一部分存储节点中只存储一个分区的数据，而还会有一部分存储节点中完全不需要存储数据的情况，导致存储节点之间的负载不均衡。

发明内容

本申请实施例提供一种数据分区的方法及装置，能够解决现有技术中，当存储节点的数量增多时出现的存储节点之间负载不均衡的问题。

第一方面，本申请的实施例提供一种数据分区的方法，该方法包括：当主节点检测到新增存储节点时，确定分布式存储系统中每个存储节点承载的平均分区数量，平均分区数量为当前分区总数量与存储节点总数量的比值，若所述平均分区数量小于预设值，则根据预设值以及存储节点总数量，将分区总数量增加至目标分区总数量，以使得所述平均分区数量达到预设值，然后按照所述目标分区总数量进行数据分区。可见，如果分布式存储系统中出现了新增的存储节点，且每个存储节点的平均分区数量小于预设值，说明当前的分布式存储系统中存在部分存储节点对应的分区数量过少，本申请通过增加分区数量，可以保证分区均匀分布在各存储节点上，进而保证了在存储节点增多的情况下，各存储节点之间也能实现负载均衡。

在一种可能的设计中，在主节点确定分布式存储系统中每个存储节点承载的平均分区数量之后，若所述平均分区数量大于所述预设值，则重新确定分区视图，然后按照重新确定的分区视图将分区分配至各存储节点。可见，当存在新增节点时，如果当前的平均分区数量大于预设值，也需要重新确定分区视图，以将部分分区分配至新增节点上，使得各存储节点之间的负载均衡。

在一种可能的设计中，所述目标分区总数量为所述当前分区总数量的2^X倍，其中，2^X为大于或等于所述存储节点总数量*所述预设值/所述当前分区总数量的最小值，X为正整数。

在一种可能的设计中，主节点还可以确定每个存储节点能够承载的最佳分区数量区间，然后根据最佳分区数量区间的上限值以及存储节点数量确定初始分区数量，然后根据所述初始分区数量进行分区，并确定初始分区视图，进而按照所述初始分区视图将分区分配至各存储节点，主节点还需将所述初始分区数量和所述初始分区视图发送给所述分布式存储系统中的对象存储设备OSD。可见，在对分布式存储系统初始化的过程中，会按照每个存储节点能够承载的最佳分区数量区间来确定分区数量，并进行分区，可以使得每个存储节点承载的初始平均分区数量处于最佳分区数量区间中，可以提高分布式存储系统的性能，避免了出现资源浪费以及负载不均衡的情况出现，提高了数据的可靠性。