[发明专利]数据处理方法以及装置在审
申请号: | 202110368246.4 | 申请日: | 2021-04-06 |
公开(公告)号: | CN112905618A | 公开(公告)日: | 2021-06-04 |
发明(设计)人: | 郭磊 | 申请(专利权)人: | 浙江网商银行股份有限公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/27 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 吴肖肖 |
地址: | 310012 浙江省杭州市西湖区*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 以及 装置 | ||
本说明书实施例提供数据处理方法以及装置,其中所述数据处理方法包括:在确定数据库集群的日志文件发生更新的情况下,确定更新的日志文件对应的目标数据库;从所述目标数据库中确定更新后的目标日志文件,并从所述目标日志文件中获取更新的日志数据;解析所述日志数据,确定更新前的日志数据和更新后的日志数据,并将所述更新后的日志数据作为目标数据存放至所述服务器。
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置,一种计算设备,以及一种计算机可读存储介质。
背景技术
随着计算机技术以及网络技术的高速发展,推动了大数据时代的到来,传统的集中式数据存储系统已经无法满足大规模数据存储的需求,为有效实现大数据存储,分布式数据存储系统得到了长足的发展。但是,在分布式数据存储系统的数据读取过程中,不仅会存在相对严重的时延问题,而且导致了数据库的读取压力,也使得数据访问的效率低。
发明内容
有鉴于此,本说明书施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种数据处理方法,包括:
在确定数据库集群的日志文件发生更新的情况下,确定更新的日志文件对应的目标数据库;
从所述目标数据库中确定更新后的目标日志文件,并从所述目标日志文件中获取更新的日志数据;
解析所述日志数据,确定更新前的日志数据和更新后的日志数据,并将所述更新后的日志数据作为目标数据存放至所述服务器。
根据本说明书实施例的第二方面,提供了一种数据处理装置,包括:
确定模块,被配置为在确定数据库集群的日志文件发生更新的情况下,确定更新的日志文件对应的目标数据库;
获取模块,被配置为从所述目标数据库中确定更新后的目标日志文件,并从所述目标日志文件中获取更新的日志数据;
解析模块,被配置为解析所述日志数据,确定更新前的日志数据和更新后的日志数据,并将所述更新后的日志数据作为目标数据存放至所述服务器。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,其中,所述处理器执行所述计算机可执行指令时实现所述数据处理方法的步骤。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机指令被处理器执行时实现任意一项所述数据处理方法的步骤。
本说明书一个实施例实现了在确定数据库集群的日志文件发生更新的情况下,确定更新的日志文件对应的目标数据库;从所述目标数据库中确定更新后的目标日志文件,并从所述目标日志文件中获取更新的日志数据;解析所述日志数据,确定更新前的日志数据和更新后的日志数据,并将所述更新后的日志数据作为目标数据存放至所述服务器,通过在数据库集群外增加服务器,存储目标日志文件中更新后的日志数据,以实现数据库与服务器之间的一种异步更新缓存,进而从服务器中获取数据不仅能够缓解数据库的访问压力,也可提高数据访问效率。
附图说明
图1是本说明书一个实施例提供的一种数据处理方法应用的系统结构示意图;
图2是本说明书一个实施例提供的一种数据处理方法的流程图;
图3是本说明书一个实施例提供的一种数据处理方法的处理过程流程图;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江网商银行股份有限公司,未经浙江网商银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110368246.4/2.html,转载请声明来源钻瓜专利网。