[发明专利]数据拖取的方法和装置

摘要

本发明提供了一种数据拖取的方法和装置，该方法包括获取在分布式存储系统集群中增加新节点的触发事件，计算新节点即将在环形存储空间上管理数据的新节点范围；查询组成新节点范围的N个子范围，其中，每个原始节点在环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中；从存储有N个子范围的数据的原始节点中，选择为新节点提供N个子范围的数据的拖取节点；分别从选择的各个拖取节点拖取对应的N个子范围中各个子范围的数据，并将拖取的N个子范围的数据合成新节点范围的数据。本发明能够保证集群中的各原始节点负载均衡，提升了数据拖取的并发度，加快了整个Streaming的过程。

主权项

一种数据拖取的方法，应用于分布式存储系统集群，所述分布式存储系统集群包括多个原始节点，且所述多个原始节点在环形存储空间上管理数据，包括：获取在所述分布式存储系统集群中增加新节点的触发事件，计算所述新节点即将在所述环形存储空间上管理数据的新节点范围；查询组成所述新节点范围的N个子范围，其中，每个原始节点在所述环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中；从存储有所述N个子范围的数据的原始节点中，选择为所述新节点提供所述N个子范围的数据的拖取节点；分别从选择的各个所述拖取节点拖取对应的所述N个子范围中各个子范围的数据，并将拖取的所述N个子范围的数据合成所述新节点范围的数据；其中，每个原始节点在所述环形存储空间上管理数据的范围被划分为多个子范围，且每个子范围的数据存储在不同的原始节点中，包括：针对每个原始节点，确定该原始节点对应的多个子范围各自的位置序号；针对该原始节点对应的多个子范围中的每个子范围，从该原始节点开始按照预设方向数过该子范围的位置序号对应的个数节点作为基准节点，并以该基准节点为基准按照所述预设方向顺序选择连续的两个节点作为存储的该子范围的数据副本的存储节点，并进行存储操作，其中，所述预设方向包括顺时针方向或逆时针方向，从而将每个原始节点各自对应的多个子范围的数据副本分别存储至除自身以外的其他原始节点。