[发明专利]一种数据处理方法、装置、设备及存储介质在审
| 申请号: | 202111355658.0 | 申请日: | 2021-11-16 |
| 公开(公告)号: | CN114064725A | 公开(公告)日: | 2022-02-18 |
| 发明(设计)人: | 郑玉元 | 申请(专利权)人: | 中国平安财产保险股份有限公司 |
| 主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/23 |
| 代理公司: | 深圳市智胜联合知识产权代理有限公司 44368 | 代理人: | 齐文剑 |
| 地址: | 518000 广东省深圳市福田区益田路*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数据处理 方法 装置 设备 存储 介质 | ||
本申请涉及数据处理领域,提供了一种数据处理方法、装置、设备及存储介质,所述方法包括获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。依据业务需求的不同对应进行相应的数据处理,使得缓存数据与数据库数据之间达成一致性,同时能够降低对系统性能的影响,降低实施成本,以及避免对原有代码逻辑的入侵。
技术领域
本申请涉及数据处理领域,特别是一种数据处理方法、装置、设备及存储介质。
背景技术
随着信息化的不断深入发展,数据生成速度正在提高,需要处理的数据量急速膨胀,大数据时代即将到来。所谓大数据指所涉及的数据量规模巨大,以至于无法通过主流软件在合理的时间内进行处理的数据。在面对海量数据时,传统关系数据库虽然具有支持完整性约束、支持事务等优点,但是在大规模海量数据面前显得力不从心。
缓存是指可以进行高速数据交换的存储器,它先于内存与CPU(centralprocessing unit,中央处理器)交换数据,因此速率很快。缓存只是内存中少部分数据的复制品,所以CPU到缓存中寻找数据时,也会出现找不到的情况,这时CPU还是会到内存中去找数据,这样系统的速率就慢下来了,不过CPU会把这些数据复制到缓存中去,以便下一次不要再到内存中去取。随着时间的变化,被访问得最频繁的数据不是一成不变的,也就是说,刚才还不频繁的数据,此时已经需要被频繁的访问,刚才还是最频繁的数据,又不频繁了,所以说缓存中的数据要经常按照一定的算法来更换,这样才能保证缓存中的数据是被访问最频繁的。
现如今系统为了提高访问效率,减小数据库访问压力,提升系统性能,缓存的使用愈发普遍,伴随着缓存的使用,一系列问题也接踵而至,其中缓存与数据库数据一致性问题一直是业内比较难解决的痛点。现有技术中缓存当中容易出现脏数据;或通过休眠一定时间再删除缓存,休眠可能会影响系统的吞吐量,造成系统资源浪费,即使有人为了吞吐量考虑,提供了异步延时删除策略,依旧没有从根源上解决问题,如果并发量到达一定级别或者休眠后删除缓存异常依然会出现缓存脏数据;或依赖数据库的binlog日志,订阅数据库binlog日志,将有更新的数据及时更新到缓存中,该方案的缺点是更新缓存有延时,在业务要求强一致性时无法保证数据的准确性,而且代码开发成本高,增加了维护成本。
发明内容
鉴于所述问题,提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种数据处理方法、装置、设备及存储介质,包括:
一种数据处理方法,包括:
获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景;
当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;
依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。
进一步地,所述获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景的步骤,包括:
确定所述当前数据包含的数据类型和所述当前数据的变化频率;其中,所述数据类型包括热点数据和非热点数据;
依据所述当前数据包含的数据类型确定所述读信息情况;
依据所述当前数据的变化频率确定所述写信息情况;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安财产保险股份有限公司,未经中国平安财产保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111355658.0/2.html,转载请声明来源钻瓜专利网。





