[发明专利]基于存储桶的数据处理方法及装置、电子设备、存储介质

说明书

本发明公开了一种基于存储桶的数据处理方法及装置、电子设备、存储介质。其中，该方法包括：获取业务层的数据集合，其中，数据集合中包括多个数据卷；将数据集合中的数据卷分别放入不同的存储桶中；根据每份数据卷中的数据属性参数和数据存储要求，设置每个存储桶的淘汰参数；基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。本发明解决了相关技术中采用单一的淘汰策略，结合数据热点信息对缓存池的数据进行淘汰，淘汰效率较低的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种基于存储桶的数据处理方法及装置、电子设备、存储介质。

背景技术

相关技术中，一般的数据存储系统为了兼顾性能和成本，会采用多层数据存储策略，数据先写入缓存池，当缓存池的数据存储量(或者存储水位)达到一定阀值的时候，再由缓存池淘汰部分数据到数据存储池，这样所有的客户端I/O操作都首先由缓存池处理，如果大部分读写都在缓存池里处理，性能就比较高。

在由缓存池淘汰部分数据到数据存储池的过程中，传统的淘汰算法，只能根据特定应用场景，选择固定的淘汰算法，并且算法是根据数据热点来做统计的，也就是数据产生读写后，产生相应的热点信息，根据这些信息通过算法来决策是否在缓存中淘汰，这种淘汰方式比较单一，并且对业务数据的特点，是不能感知的，识别业务的要求低时延的数据比较困难，淘汰效率较低，所以效果并不那么理想。

传统的缓存池因为上下没有联动，并且淘汰策略比较单一，需要一种新的方案去改善这种缺点。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于存储桶的数据处理方法及装置、电子设备、存储介质，以至少解决相关技术中采用单一的淘汰策略，结合数据热点信息对缓存池的数据进行淘汰，淘汰效率较低的技术问题。

根据本发明实施例的一个方面，提供了一种基于存储桶的数据处理方法，应用于数据存储系统，所述数据存储系统与业务层对接，包括：获取业务层的数据集合，其中，所述数据集合中包括多个数据卷；将所述数据集合中的数据卷分别放入不同的存储桶中；根据每份所述数据卷中的数据属性参数和数据存储要求，设置每个所述存储桶的淘汰参数；基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理。

可选地，在获取业务层的数据集合之前，还包括：所述业务层接收数据存储需求；所述业务层响应数据存储需求，将待存储的多份数据按照数据类型分类存储在不同的数据卷中，其中，每个所述数据卷关联有数据类型。

可选地，在获取业务层的数据集合之前，还包括：获取所述业务层中当前已经存在的所有数据类型，得到数据类型的总数量；创建与所述数据类型的总数量具有相同数量的存储桶。

可选地，在创建与所述数据类型的总数量具有相同数量的存储桶之后，还包括：根据每种所述数据类型的数据卷的容量和待缓存的数据量参数，设置所述存储桶的存储容量。

可选地，在基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理之后，还包括：接收数据查询请求；响应所述数据查询请求，结合预先配置的数据淘汰策略，确定是否命中所述存储桶中的数据；在命中所述存储桶中的数据的情况下，将所述存储桶中的查询数据返回至目标查询方；在未命中所述存储桶中的数据的情况下，通过访问数据池得到查询数据，并将所述数据池中的查询数据返回至目标查询方，其中，所述数据池与所述数据存储系统预先建立通讯连接。

可选地，所述数据卷中的数据属性参数包括：存储时延要求、数据类型和数据当前存储时长。

可选地，预先配置的淘汰算法为下述之一：最近最少使用算法LRU、最不经常使用算法LFU和先进先出算法FIFO。