[发明专利]日志处理方法、相关设备及系统在审
申请号: | 201711272235.6 | 申请日: | 2017-12-05 |
公开(公告)号: | CN110232053A | 公开(公告)日: | 2019-09-13 |
发明(设计)人: | 陆元飞;梁锋;刘存伟 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/182;H04L29/08 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 主节点 集群 存储 存储节点 状态消息 写操作 日志 设备及系统 写操作请求 标识信息 反馈消息 日志处理 发送 计算节点 节点接收 初始化 读操作 响应 混乱 | ||
本发明实施例提供一种日志处理方法、相关设备及系统,该方法包括:第一节点在初始化时获取存储节点集群的状态消息,该状态消息标记了该存储节点集群的存储主节点;该第一节点为计算节点集群中具有写操作能力和读操作能力的计算主节点;该第一节点根据该状态消息向该存储主节点发送第一写操作请求,以使该存储主节点与该存储节点集群中的存储从节点对已接收的日志达成一致后对第一写操作达成一致;该第一节点接收该存储主节点与该存储节点集群中的存储从节点对该第一写操作达成一致后发送的反馈消息,该反馈消息包括标识信息和针对该第一写操作请求的响应,该标识信息用于指示已达成一致的日志。采用本发明实施例,能够避免日志出现混乱。
技术领域
本发明涉及计算机技术领域,尤其涉及一种日志处理方法、相关设备及系统。
背景技术
数据库中通常会通过日志log来保存数据的修改记录,日志包括生成和存储两个过程,日志的生成通常由计算节点来实现,日志的存储通常由存储节点来实现。为了保障日志的安全性和稳定性,该计算节点和该存储节点均采用分布式的方式进行部署。如图1所示,图1中多个计算节点构成了一个计算节点集群,该计算节点集群中包括一个计算主节点(primary)和至少一个计算从节点(slave),该计算主节点能够接收客户端发送的针对数据的读操作和写操作,该写操作会产生日志,该计算从节点能够接收客户端发送的针对数据的读操作。图1中多个存储节点构成一个存储节点集群,该存储节点集群包括一个存储主节点(leader)和至少一个存储从节点(follower),该存储主节点、存储从节点和计算主节点对同一日志的记录保持一致性,然而某些场景下该一致性是无法保证的,例如:
假设该计算主节点向该存储主节点发送日志序列号(log sequence number,LSN)分别为1、2和3的日志;当该存储主节点与该存储节点集群中的大多数存储从节点对LSN为1和2的日志达成一致,但是还未与该存储节点集群中的大多数存储从节点对LSN为3的日志达成一致时,若该计算主节点出现了故障并且该计算节点集群中重新选择了一个计算主节点,那么,该存储主节点会向该新的计算主节点发送日志序列号2,以表明1表示的日志和2表示的日志已经达成一致。后续,计算主节点再有日志发送给存储主节点时,该存储主节点会以LSN等于3开始编号,这样一来,该存储主节点就会再一次接收到LSN等于3的日志,而实际上两次接收到的LSN等于3的日志并不是同一个日志,如果存储主节点对这两个LSN等于3的日志都完成了一致性处理,就会使存储节点集群中存储的日志出现混乱。
如何避免日志的存储出现混乱是本领域的技术人员正在研究的技术问题。
发明内容
本发明实施例公开了一种日志处理方法、相关设备及系统,能够避免日志出现混乱。
本发明实施例第一方面公开了一种日志处理方法,该方法包括:首先,第一节点在初始化时获取存储节点集群的状态消息,该状态消息标记了该存储节点集群的存储主节点;该第一节点为计算节点集群中具有写操作能力和读操作能力的计算主节点;然后,该第一节点根据该状态消息向该存储主节点发送第一写操作请求,以使该存储主节点与该存储节点集群中的存储从节点对已接收的日志达成一致后对第一写操作达成一致;接着,该第一节点接收该存储主节点与该存储节点集群中的存储从节点对该第一写操作达成一致后发送的反馈消息,该反馈消息包括标识信息和针对该第一写操作请求的响应,该标识信息用于指示已达成一致的日志。
通过执行上述步骤,第一节点在初始化时向存储主节点发送第一写操作请求,然后该存储主节点与存储从节点对已接收的日志达成一致后对第一写操作达成一致,这样该存储主节点后续向该第一节点反馈已提交的日志时,就不会漏掉部分已接收的日志,从而使得该第一节点与该存储主节点记录的LSN保持一致,避免了因LSN不一致而导致的日志混乱的问题。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711272235.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:应用程序重复资源处理方法及装置
- 下一篇:日志传输系统及流式日志传输方法