[发明专利]数据库处理方法及装置、系统在审
申请号: | 201710862403.0 | 申请日: | 2017-09-21 |
公开(公告)号: | CN110019066A | 公开(公告)日: | 2019-07-16 |
发明(设计)人: | 林晓斌;翟卫祥;周正中 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/176;G06F16/16;G06F16/13;G06F16/11;G06F16/178 |
代理公司: | 北京安信方达知识产权代理有限公司 11262 | 代理人: | 孙敬霞;栗若木 |
地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 共享存储节点 日志记录 重做 数据库处理 写入操作 数据库实现 副本节点 数据记录 重构数据 脏数据 主节点 读入 读写 主备 内存 延迟 写入 更新 申请 部署 | ||
一种数据库处理方法及装置、系统,包括:主节点在执行数据记录的修改操作或写入操作时,将所述修改操作或写入操作产生的重做日志记录写入共享存储节点,并将相应的脏数据页更新到所述共享存储节点;副本节点将所述重做日志记录从所述共享存储节点读入内存,以便在需要时通过所述重做日志记录重构数据页。本申请能够降低数据库实现读写分离的部署成本和主备延迟。
技术领域
本发明涉及数据库技术领域,尤其涉及一种数据库处理方法及装置、系统。
背景技术
目前,基于开源数据库的读写分离方案一般通过复制一个或多个副本节点实现。例如,PostgreSQL或MySQL通过复制功能实现读写分离。
上述读写分离的实现方式至少存在如下两个问题:1)需要将主节点的所有数据复制到备节点,而备节点的成本较高,备节点越多,成本越高;2)备节点需要应用主节点产生的重做日志,保持同步,主备延迟的可能性非常大。
发明内容
本申请旨在至少解决相关技术中的技术问题之一。
本申请提供一种数据库处理方法及装置、系统,至少能够降低读写分离部署成本和降低主备延迟。
本申请采用如下技术方案:
一种数据库处理方法,包括:
主节点在执行数据记录的修改操作或写入操作时,将所述修改操作或写入操作产生的重做日志记录写入共享存储节点,并将相应的脏数据页更新到所述共享存储节点;
副本节点将所述重做日志记录从所述共享存储节点读入内存,以便在需要时通过所述重做日志记录重构数据页。
其中,在进行数据记录的修改操作时,所述脏数据页包括数据页和回滚页。
其中,所述副本节点将所述重做日志记录从所述共享存储节点读入内存,包括:所述副本节点将所述重做日志记录按对应的数据页编号哈希存放,以便在需要通过数据页编号查找相应的重做日志记录。
其中,,所述方法还包括:副本节点根据用户的读请求,从共享存储节点读取相应的数据页,按照所述数据页的数据页编号查找重做日志记录,并通过查找到的重做日志记录重构所述数据页。
其中,所述方法还包括:副本节点根据用户的读请求,在发现需要读取修改之前的数据时,从共享存储节点读取相应的数据页,按照所述数据页的数据页编号查找重做日志记录,通过查找到的重做日志记录重构所述数据页,再从所述共享存储节点中读取所述数据页对应的回滚页。
其中,所述方法还包括:副本节点接收来自主节点的主节点刷新日志序号LSN,并将LSN不大于所述主节点刷新LSN的重做日志记录从内存中释放;其中,主节点刷新LSN表示此LSN之前的脏数据页已更新到所述共享存储节点。
其中,所述方法还包括:在所述主节点启动时,初始化所述主节点刷新LSN为写入共享存储节点的最后一笔重做记录的LSN,并将所述主节点刷新LSN提供给所述副本节点。
其中,所述将相应的脏数据页更新到所述共享存储节点,包括:将LSN满足如下条件的脏数据页更新到所述共享存储节点:不大于主节点已写入共享存储节点的重做日志记录的LSN;不大于所述副本节点提供的重做日志记录的最大LSN,所述最大LSN为所述副本节点中所有重做日志记录LSN中的最大值。
其中,所述方法还包括:在所述副本节点启动时,初始化所述重做日志记录的最大LSN为所述主节点提供的主节点刷新LSN;其中,主节点刷新LSN表示此LSN之前的脏数据页已更新到所述共享存储节点。
一种数据库系统,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710862403.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:日志数据的处理方法、装置及电子设备
- 下一篇:一种日志分析方法及系统