[发明专利]基于存储桶的数据处理方法及装置、电子设备、存储介质在审
| 申请号: | 202210563852.6 | 申请日: | 2022-05-23 |
| 公开(公告)号: | CN114968851A | 公开(公告)日: | 2022-08-30 |
| 发明(设计)人: | 吴素宏;池信泽;张旭明;王豪迈;胥昕 | 申请(专利权)人: | 北京星辰天合科技股份有限公司 |
| 主分类号: | G06F12/121 | 分类号: | G06F12/121;G06F12/122;G06F12/123;G06F3/06 |
| 代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 周春枚 |
| 地址: | 100094 北京市海淀*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 存储 数据处理 方法 装置 电子设备 介质 | ||
1.一种基于存储桶的数据处理方法,其特征在于,应用于数据存储系统,所述数据存储系统与业务层对接,包括:
获取业务层的数据集合,其中,所述数据集合中包括多个数据卷;
将所述数据集合中的数据卷分别放入不同的存储桶中;
根据每份所述数据卷中的数据属性参数和数据存储要求,设置每个所述存储桶的淘汰参数;
基于所述淘汰参数和预先配置的淘汰算法,对所述存储桶中的数据进行淘汰处理。
2.根据权利要求1所述的数据处理方法,其特征在于,在获取业务层的数据集合之前,还包括:
所述业务层接收数据存储需求;
所述业务层响应数据存储需求,将待存储的多份数据按照数据类型分类存储在不同的数据卷中,其中,每个所述数据卷关联有数据类型。
3.根据权利要求2所述的数据处理方法,其特征在于,在获取业务层的数据集合之前,还包括:
获取所述业务层中当前已经存在的所有数据类型,得到数据类型的总数量;
创建与所述数据类型的总数量具有相同数量的存储桶。
4.根据权利要求3所述的数据处理方法,其特征在于,在创建与所述数据类型的总数量具有相同数量的存储桶之后,还包括:
根据每种所述数据类型的数据卷的容量和待缓存的数据量参数,设置所述存储桶的存储容量。
5.根据权利要求1所述的数据处理方法,其特征在于,在基于所述淘汰参数和预先配置的淘汰算法,对所述存储桶中的数据进行淘汰处理之后,还包括:
接收数据查询请求;
响应所述数据查询请求,结合预先配置的数据淘汰策略,确定是否命中所述存储桶中的数据;
在命中所述存储桶中的数据的情况下,将所述存储桶中的查询数据返回至目标查询方;
在未命中所述存储桶中的数据的情况下,通过访问数据池得到查询数据,并将所述数据池中的查询数据返回至目标查询方,其中,所述数据池与所述数据存储系统预先建立通讯连接。
6.根据权利要求1至5中任意一下所述的数据处理方法,其特征在于,所述数据卷中的数据属性参数包括:存储时延要求、数据类型和数据当前存储时长。
7.根据权利要求1至5中任意一下所述的数据处理方法,其特征在于,预先配置的淘汰算法为下述之一:最近最少使用算法LRU、最不经常使用算法LFU和先进先出算法FIFO。
8.一种基于存储桶的数据处理装置,其特征在于,应用于数据存储系统,所述数据存储系统与业务层对接,包括:
获取单元,用于获取业务层的数据集合,其中,所述数据集合中包括多个数据卷;
存储单元,用于将所述数据集合中的数据卷分别放入不同的存储桶中;
设置单元,用于根据每份所述数据卷中的数据属性参数和数据存储要求,设置每个所述存储桶的淘汰参数;
淘汰单元,用于基于所述淘汰参数和预先配置的淘汰算法,对所述存储桶中的数据进行淘汰处理。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述的基于存储桶的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的基于存储桶的数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京星辰天合科技股份有限公司,未经北京星辰天合科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210563852.6/1.html,转载请声明来源钻瓜专利网。





