[发明专利]一种基于服务器节点硬件资源密度的数据分片方法

说明书

本发明公开了一种基于服务器节点硬件资源密度的数据分片方法。该方法主要分为五个部分：服务器节点硬件资源密度的定义、散列环的定义、服务器节点负责的数据分片规则、服务器节点加入集群后的数据分片变更与服务器节点离开集群后的数据分片变更。该方法实现了相对平均的数据分片，提高集群横向扩展能力，并考虑到服务器节点硬件资源的影响，使得硬件资源多的节点分配到更多的数据分片，同时硬件资源少的节点分配到较少的数据分片，充分利用集群内服务器的硬件资源。此外，该方法在集群内服务器节点增加或删除时，调整数据分片时传输数据量较小，能更快速的调整数据分片的分布。

技术领域

本发明涉及风控、反欺诈等需要进行高频实时信息处理和存储的金融大数据领域，涉及一种基于服务器节点硬件资源密度的数据分片方法。

背景技术

在风控、反欺诈等需要进行高频实时信息处理和存储的金融大数据领域，存在大量金融指标数据存储的需求，而单个服务器节点无法存储和处理金融大数据场景下的庞大数据量，因此需要使用多个服务器节点存储数据。多个不同的服务器节点会构建成服务器集群。完整的数据会被分布到集群内不同的服务器节点上，同时数据的读写负载会被分摊到不同的服务器节点上，这就是数据分片。

数据分片可用于实现服务器集群的横向扩展，即添加服务器节点后，集群的性能也可以得到一定比例的提升。数据分片的目标在于将完整的数据平均分布到不同的服务器节点上，每个服务器节点能够公平地分配到数据以及对应的数据访问负载，从而提供良好的横向扩展能力。假如不同服务器节点分布的数据量不均匀，那么某些服务器节点的数据量和读写负载会明显高于其它服务器节点，造成了负载偏移的现象，导致横向扩展能力不足。

现有的数据分片方法主要分为下列3类：

(1)基于数据范围的数据分片：每个分片会指定一个范围，即指定分片的最小值和最大值，落入该范围的数据归属于该分片。

(2)基于散列值的数据分片：每个分片同样指定一个散列值范围，假如数据的散列值在该范围内，则属于该分片。

(3)基于一致性散列的数据分片：整个散列值范围形成一个环，然后计算服务器节点的散列值并将其添加到环中，之后计算数据的散列值，并在环上顺时针寻找服务器节点，遇到的第一个服务器节点存储该数据。如图1所示的一致性散列分片的样例展示了数据被存储在节点#B中。

然而上述的数据分片方法存在下列缺陷：

(1)对于基于数据范围的数据分片，每个分片的数据量很难控制的很均匀，极易容易造成负载偏移的现象，影响横向扩展能力；

(2)对于基于散列值的数据分片，其缓解了分片数据量不均匀的问题，但是当服务器集群增加或删除节点时，通常会造成服务器集群内多个节点的数据分片变化，调整数据分片时会传输大量的数据；

(3)对于基于一致性散列的数据分片，因为在服务器节点增删时，该方法只变更散列环上的一段弧，其缓解了调整数据分片时会传输数据量大的问题，但服务器节点在散列环上的分布极易变得不均匀，同样造成负载偏移的现象，影响横向扩展能力。

此外，上述数据分配方法中，均未考虑到服务器节点硬件资源对数据分片的影响。集群内，服务器拥有的硬件资源可能有所不同，硬件资源少的服务器节点应分配到更小的数据分片，硬件资源多的服务器节点应分配到更大的数据分片，从而充分利用硬件资源，提升横向扩展的能力，但是现有的数据分片方法无法做到这一点。

综上所述，上述已有数据分片方法无法满足风控、反欺诈等金融大数据领域的大量金融指标数据存储和分片的需求。

发明内容

针对上述已有数据分片方法所产生的问题和缺陷，本发明提出了一种基于服务器节点硬件资源密度的数据分片方法，实现数据分片相对平均地分配到集群内各服务器节点的同时，同时考虑到服务器节点硬件资源的影响，从而满足风控、反欺诈等金融大数据领域的大量金融指标数据存储和分片的需求。