[发明专利]数据存储处理方法、装置、处理系统以及存储介质

说明书

本公开提供了一种数据存储处理方法、装置、处理系统以及存储介质，涉及计算机技术领域，其中方法包括：将存储节点配置信息映射到多级一致性哈希环中，监听分布式集群中的监控节点发布的数据同步消息对多级一致性哈希环进行更新处理；根据与待存储数据相对应的存储哈希值从多级一致性哈希环中获得存储节点连接信息。本公开的方法、装置、处理系统以及存储介质，可以结合增量和一致性哈希扩容的两种优点,通过修改与数据库分片信息相对应的优先级，将存储数据引导到性能好的服务器上；在达到写入上限的情况下可以避免继续写入；能够实现数据迁移而且对用户无感知，能够保证配置更新分发的及时性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据存储处理方法、装置、处理系统以及存储介质。

背景技术

水平分库是解决数据库高并发写的一种方案，软件行业中目前流行的分库中间件产品有MyCat等。分库中间件即根据业务字段采用一致性哈希做分片，当数据库遇到瓶颈需要扩容分片时，仍然需要对历史分片进行迁移来保证正确的哈希路由，即使数据迁移是分片级的也会增加不小资源消耗和系统的复杂性。使用MyCat实现水平分库方案如图1所示，单独部署MyCat中间件服务，MyCAT是mysql中间件，配置MyCat分片路由规则，应用直接通过Jdbc连接MyCat，MyCat实现了Mysql协议拦截Sql并解析，根据配置的分库规则，路由到指定实例的分片上；分片扩容前需要re-hash对分片进行迁移，可以在分片迁移后不进行行级数据迁移。修改MyCat分片路由规则，平滑重启MyCat使新路由规则生效，对新增业务数据的行级迁移。

发明内容

发明人发现目前的水平分库方案具有下述问题：需要单独部署中间件做代理，中间件可能会成为新的性能瓶颈；扩容时需按分片迁移数据，带来不少的工作量和出错几率；分片数据迁移完成后需要解决迁移过程中产生的新业务数据的行级数据迁移问题。

有鉴于此，本公开提供一种数据存储处理方法、数据存储处理装置、数据处理系统以及计算机可读存储介质。

根据本公开的一个方面，提供一种数据存储处理方法，包括：获取存储节点配置信息，将所述存储节点配置信息映射到多级一致性哈希环中；监听分布式集群中的监控节点发布的数据同步消息，从接收到的所述数据同步消息获得与所述存储节点配置信息相对应的配置更新信息；根据所述配置更新信息对所述多级一致性哈希环进行更新处理；获得与待存储数据相对应的存储哈希值，根据所述存储哈希值从所述多级一致性哈希环中获得存储节点连接信息，用以使用所述存储节点连接信息对待存储数据进行存储处理。

可选地，所述获取存储节点配置信息包括：从所述分布式集群中的配置存储节点获得层次化的所述存储节点配置信息并在本地存储；其中，所述存储节点配置信息包括：数据库分组信息、与所述数据库分组对应的起始哈希值和终止哈希值；所述数据库分组信息包括：数据分片信息、与所述数据库分片信息相对应的优先级；所述数据分片信息包括：分片号、与所述分片号相对应的数据库连接信息。

可选地，使用树形数据结构存储所述存储节点配置信息；其中，所述树状存储结构包括：TreeMap。

可选地，所述根据所述存储哈希值从所述多级一致性哈希环中获得存储节点连接信息包括：使用所述存储哈希值与所述多级一致性哈希环中的存储信息节点的哈希值分区进行匹配处理，用于获得所述数据库连接信息；其中，同一级一致性哈希环中的存储信息节点的哈希值分区不重合；所述存储信息节点包括：实际节点、为实际节点在同一级一致性哈希环中分配的虚拟节点。

可选地，所述将所述存储节点配置信息映射到多级一致性哈希环中包括：基于所述起始哈希值和所述终止哈希值将多个数据库分组信息作为第一存储信息节点映射到第一级一致性哈希环中；基于所述优先级将多个数据分片信息作为第二存储信息节点映射到第二级一致性哈希环中；其中，所述第二存储信息节点的哈希值区间为优先级区间；基于所述分片号将多个数据库连接信息作为第三存储信息节点映射到第三级一致性哈希环中；其中，所述第三存储信息节点的哈希值区间为分片号区间。