[发明专利]一种数据处理的方法和装置

说明书

本发明公开了一种数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收客户端发送的拓扑信息获取请求；从缓存中获取集群的拓扑信息，所述拓扑信息是从所述集群的任一节点获得的所述集群中所有虚拟槽与虚拟槽对应的节点之间的映射关系；将所述拓扑信息发送给所述客户端。该实施方式能够减少拓扑生成时间，提高拓扑信息的获取效率，降低集群服务端的压力，减小网络带宽的占用，降低cluster slots风暴发生的概率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理的方法和装置。

背景技术

目前smart(智能)客户端采用RESP协议与集群进行交互，当发生网络异常或集群成员宕机等情况时，通过懒加载方式加载集群元数据，获取集群拓扑信息，与集群节点建立连接，以进行数据的访问及存储。

在大规模集群中，较大拓扑严重影响客户端与服务端的通信效率，尤其是在高并发情况下，更新拓扑会阻塞读数据操作，服务端处理能力下降，导致集群形成clusterslots风暴，影响数据处理的效率。

发明内容

有鉴于此，本发明实施例提供一种数据处理的方法和装置，能够降低拓扑生成时间，降低集群服务端的运行压力，减小网络带宽占用，从而降低cluster slots风暴发生的概率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理的方法，包括：

接收客户端发送的拓扑信息获取请求；

从缓存中获取集群的拓扑信息，所述拓扑信息是从所述集群的任一节点获得的所述集群中所有虚拟槽与虚拟槽对应的节点之间的映射关系；

将所述拓扑信息发送给所述客户端。

可选地，将所述拓扑信息发送给所述客户端，包括：对所述拓扑信息进行二进制压缩后发送给所述客户端。

可选地，所述方法还包括：

在将所述拓扑信息发送给所述客户端之后，接收所述客户端根据所述拓扑信息确定出目标节点之后向所述目标节点发送的目标数据的访问请求，判断所述目标节点与所述客户端的连接是否成功；若是，则向所述客户端返回针对所述访问请求的执行结果；否则，向所述客户端返回连接失败的消息。

可选地，所述方法还包括：

在所述目标节点与所述客户端连接失败的情况下，接收所述客户端发送的拓扑信息获取请求或者接收所述客户端重新发送的所述访问请求；其中，在所述客户端发送所述访问请求的次数超过预设阈值的情况下，所述客户端再次发送拓扑信息获取请求；在所述客户端发送所述访问请求的次数不超过预设阈值的情况下，所述客户端重新发送所述访问请求。

可选地，在将所述拓扑信息发送给所述客户端之后，所述拓扑信息被所述客户端保存在本地缓存；所述目标节点为所述客户端基于本地保存的拓扑信息确定的。

可选地，所述客户端再次发送的拓扑信息获取请求，是由所述客户端在向所述集群中的活跃节点发送所述访问请求并从所述活跃节点的响应结果中确定出新的目标节点之后向所述新的目标节点发送的。

可选地，在将所述拓扑信息发送给所述客户端之后，所述拓扑信息被所述客户端保存在本地缓存；在所述客户端发送所述访问请求的次数超过预设阈值的情况下，所述客户端向所述集群中的活跃节点发送拓扑信息获取请求、并根据所述活跃节点的响应结果更新本地缓存中的拓扑信息。

根据本发明实施例的再一个方面，提供了一种数据处理的装置，包括：

接收模块，接收客户端发送的拓扑信息获取请求；

获取模块，从缓存中获取集群的拓扑信息，所述拓扑信息是从所述集群的任一节点获得的所述集群中所有虚拟槽与虚拟槽对应的节点之间的映射关系；