[发明专利]一种集群数据处理方法、主节点、从节点和集群有效
申请号: | 201710357042.4 | 申请日: | 2017-05-19 |
公开(公告)号: | CN107277111B | 公开(公告)日: | 2018-09-04 |
发明(设计)人: | 张晓春 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;贾允 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 集群 数据处理 方法 节点 | ||
1.一种集群数据处理方法,其特征在于,所述数据处理方法包括:
主节点生成同步信息包,并将所述同步信息包发布至节点环中以使得所述同步信息包沿所述节点环到达下一个节点;所述节点环由一个主节点和不少于一个从节点构成,所述节点环包括所述集群中的全部节点;
所述同步信息包在所述节点环中进行第一轮传递:每到达一个节点后,当前节点按照第一预设规则对自身本地的数据进行变更,并按照第二预设规则对同步信息包进行更新,将更新后的所述同步信息包重新发布至节点环上继续传递以使得所述同步信息包沿所述节点环到达下一个节点;
以所述主节点获取所述同步信息包为起点,执行所述同步信息包在所述节点环中的第二轮传递:获取同步信息包的当前节点根据第三预设规则对自身本地的数据进行变更以及向所述当前节点的通信节点发布更新数据;所述当前节点根据第四预设规则对所述同步信息包中的内容进行删减,并将删减后的所述同步信息包发布至节点环上继续传递以使得所述同步信息包沿所述节点环到达下一个节点;
当所述主节点再次获取所述同步信息包后,将所述同步信息包丢弃,返回执行所述主节点生成同步信息包的步骤。
2.根据权利要求1所述的方法,其特征在于,所述主节点生成同步信息包包括:
获取主节点的节点数据;
获取主节点的通信数据,所述主节点的通信数据为从主节点的通信节点处接收到的数据,所述主节点的通信节点为与主节点通信的客户节点;
根据所述主节点的节点数据和通信数据生成同步信息包。
3.根据权利要求2所述的方法,其特征在于:
所述当前节点按照第一预设规则对自身本地的数据进行变更包括:
提取所述同步信息包中的数据;
根据所述同步信息包中的数据生成其它节点的节点数据的快照;
将所述快照存储于自身本地;
所述按照第二预设规则对同步信息包进行更新包括:
获取当前节点的节点数据;
获取当前节点的通信数据,所述当前节点的通信数据为从当前节点的通信节点处接收到的数据,所述当前节点的通信节点为与当前节点通信的客户节点;
根据当前节点的节点数据和所述当前节点的通信数据对所述同步信息包进行更新。
4.根据权利要求3所述的方法,其特征在于:
所述当前节点根据第三预设规则对自身本地的数据进行变更以及向所述当前节点的通信节点发布更新数据包括:
获取所述同步信息包中的数据;
根据所述同步信息包中的数据生成其它节点的节点数据的快照;
根据所述快照更新自身本地存储的快照;
获取当前节点的节点数据和存储于当前节点自身本地的其它节点的节点数据的快照;
根据获取到的内容生成更新数据;
将所述更新数据发布至所述当前节点的通信节点;
所述根据第四预设规则对所述同步信息包中的内容进行删减包括:
删除所述同步信息包中当前节点的节点数据;
删除所述同步信息包中当前节点的通信数据。
5.根据权利要求1所述的方法,其特征在于,在所述当前节点按照第一预设规则对自身本地的数据进行变更之前,还包括删除当前节点自身本地存储的其它节点的节点数据的快照的步骤。
6.根据权利要求1所述的方法,其特征在于,若集群中主节点被删除,根据预设的节点选择算法,在从节点中重新选择主节点。
7.根据权利要求1所述的方法,其特征在于,若集群中添加新的从节点或删除旧的从节点,将引发节点环的动态更新以使得节点环始终包括集群中的全部节点。
8.根据权利要求1所述的方法,其特征在于,每个节点均能够处理客户节点的数据查询请求,所述数据处理方法还包括:
节点获取客户节点的数据查询请求;
根据所述节点的节点数据和所述节点保存的其它节点的节点数据的快照生成数据查询响应;
将所述数据查询响应返回至所述客户节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710357042.4/1.html,转载请声明来源钻瓜专利网。