[发明专利]一种数据处理方法、装置及分布式存储系统

权利要求书

1.一种数据处理方法，其特征在于，应用于分布式存储系统中的管理节点，所述分布式存储系统还包括多个存储节点，所述方法包括：

在满足预设生成条件的情况下，获取所述存储节点的负载信息；

基于所述负载信息及预设的虚拟组的数量，为每个存储节点生成对应的虚拟节点，得到多个虚拟组，其中，每个虚拟组包括多个虚拟节点；

从所述每个虚拟组中选择两个虚拟节点，分别作为该虚拟组的主节点和备节点；

基于各存储对象的标识及虚拟组信息，将所述各存储对象存储至所述主节点对应的存储节点中，并将所述各存储对象的备份存储至对应的备节点对应的存储节点中，其中，所述虚拟组信息包括所述每个虚拟组与该虚拟组的主节点和备节点的对应关系；

其中，所述负载信息包括所述每个存储节点的可用存储容量；所述基于所述负载信息及预设的虚拟组的数量，为所述每个存储节点生成对应的虚拟节点，得到多个虚拟组的步骤，包括：

根据每个存储节点的可用存储容量与所有存储节点的总存储容量之间的比例，确定每个存储节点对应的虚拟节点的数量权重；基于所述每个存储节点对应的虚拟节点的数量权重及预设的虚拟组的数量，为所述每个存储节点生成对应的虚拟节点，得到多个虚拟组。

2.如权利要求1所述的方法，其特征在于，所述预设生成条件包括以下至少一种：

所述分布式存储系统中的一个或多个存储节点下线；

所述分布式存储系统中的一个或多个存储节点上线；

所述分布式存储系统中的存储节点的负载信息满足预设不均衡条件；

接收到虚拟组更新指令。

3.如权利要求1所述的方法，其特征在于，所述从所述每个虚拟组中选择两个虚拟节点，分别作为该虚拟组的主节点和备节点的步骤，包括：

对每个虚拟节点的标识进行哈希运算，得到所述每个虚拟节点的哈希值，其中，所述每个虚拟节点的标识包括所属的虚拟组的标识、所对应的存储节点的标识及随机数；

针对所述每个虚拟组包括的虚拟节点，按照所对应的哈希值进行排序，得到排序结果；

针对所述每个虚拟组包括的虚拟节点，基于所述排序结果，对连续的具有相同存储节点的虚拟节点进行去重处理；

从去重处理后的每个虚拟组中，选择连续的两个虚拟节点，分别作为该虚拟组的主节点和备节点。

4.如权利要求1所述的方法，其特征在于，所述分布式存储系统还包括监控节点；

所述获取所述存储节点的负载信息的步骤，包括：

获取所述监控节点上报的所述存储节点的负载信息。

5.如权利要求1-4任一项所述的方法，其特征在于，所述基于各存储对象的标识及虚拟组信息，将所述各存储对象存储至所述主节点对应的存储节点中，并将所述各存储对象的备份存储至对应的备节点对应的存储节点中的步骤，包括：

将所述虚拟组信息发送至所述存储节点，以使所述每个存储节点基于所述虚拟组信息确定不属于该存储节点的目标存储对象，并基于所述目标存储对象的标识以及所述每个虚拟组的标识，确定第一目标虚拟组，将所述目标存储对象迁移至所述第一目标虚拟组的主节点对应的存储节点，以使所述第一目标虚拟组的主节点对应的存储节点存储所述目标存储对象，并将所述目标存储对象的备份存储至所述第一目标虚拟组的备节点所对应的存储节点。

6.如权利要求1-4任一项所述的方法，其特征在于，所述分布式存储系统还包括网关节点；所述方法还包括：

将所述虚拟组信息发送至所述网关节点，以使所述网关节点存储所述虚拟组信息。