[发明专利]一种数据分片方法、相关设备及计算机存储介质

说明书

本发明实施例提供了一种数据分片方法及相关设备，该方法通过配置对用户数据中关键字进行截取的截取方式，根据所述截取方式对获取的用户数据中的关键字进行截取，从而得到目标字段，然后根据哈希算法确定所述目标字段的目标特征值；然后根据所述目标字段的目标特征值，向所述目标特征值对应的存储节点发送所述用户数据，其中，不同的存储节点对应不同的特征值范围，所述目标特征值属于其中一个特征值范围。通过实施该方法，能够在无schema的数据库系统中，既能够使数据均匀的分配到各存储节点中，同时也可以将目标特征值相邻的用户数据存储在相同或者相邻的存储节点中。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种数据分片方法、相关设备及计算机存储介质。

背景技术

传统的集中式存储系统采用集中的存储服务器存放所有的数据，整个存储系统的所有业务均在存储服务器中进行，这样不仅会影响对数据的处理速度，同时也会存在单点故障的问题。分布式存储是将数据分散存储在多个独立的存储节点中，分布式存储不仅可以利用多个存储节点分担存储负荷，还能提高系统的可靠性、可扩展性以及存取效率。

分布式存储系统中，可以采用基于哈希(hash)算法或者基于范围(range)的方法对数据进行分片，以确定将数据存储到分布式存储系统中的哪个存储节点。基于哈希算法的数据分片方法能够将数据均匀的分配到不同的存储节点中，但是会打乱数据按关键字(key)的字典顺序排序的结果，导致数据不能按key的字典顺序分配到对应的节点中，从而影响按顺序读取数据时的性能，基于范围的数据分片方法可以使数据按key的字典顺序存放到不同的存储节点，但是会导致数据分布不均衡。

发明内容

本申请实施例公开了一种数据分片方法，通过配置对用户数据中关键字的处理方式，并结合hash分片以及range分片的方法，从而确定用户数据在分布式存储节点中的存储位置。

第一方面，本申请实施例提供一种数据分片方法，包括：

获取用户数据，其中，所述用户数据包括关键字；

对所述关键字进行截取，从而得到目标字段；

根据哈希算法确定所述目标字段的目标特征值；

根据所述目标字段的目标特征值，向所述目标特征值对应的存储节点发送所述用户数据，其中，不同的存储节点对应不同的特征值范围，所述目标特征值属于其中一个特征值范围。

在一可能的实施例中，对所述关键字进行截取，从而得到目标字段，包括：获取预设偏移量；根据所述预设偏移量对所述关键字进行截取，从而得到所述目标字段。

在一可能的实施例中，所述预设偏移量包括第一预设偏移量和第二预设偏移量，其中，所述第一预设偏移量用于截取第一目标字段，所述第二预设偏移量用于截取第二目标字段，所述目标字段包括所述第一目标字段和所述第二目标字段。

在一可能的实施例中，所述关键字包括分隔符，对所述关键字进行截取，从而得到目标字段，包括：根据所述分隔符对所述关键字进行截取，从而得到所述目标字段。

在一可能的实施例中，所述分隔符包括第一组分隔符和第二组分割符，其中，所述第一组分隔符用于截取第一目标字段，所述第二组分隔符用于截取第二目标字段，所述目标字段包括所述第一目标字段和所述第二目标字段。

在一可能的实施例中，用于存储所述用户数据的数据库为无schema定义的数据库，其中，无schema定义的数据库分布存储在多个存储节点中。

在一可能的实施例中，所述根据所述目标字段的目标特征值，向所述目标特征值对应的存储节点发送所述用户数据，包括：将所述目标特征值与所述关键字组合得到新关键字，根据所述新关键字，向所述目标特征值对应的存储节点发送所述用户数据。

第二方面，本申请实施例提供一种数据分片装置，包括：