[发明专利]一种数据处理方法、装置及设备和存储介质

说明书

本申请实施例公开了一种数据处理方法、装置及设备和存储介质，实现提高数据处理效率的目的。其中，所述方法包括：获取待处理数据集和所述待处理数据集对应的配额，所述待处理数据集至少包括两个，且至少两个所述待处理数据集对应的配额不同；基于所述待处理数据集对应的配额，从所述待处理数据集中选择目标数据；将所述目标数据存放到第一缓存池中，以对所述目标数据进行处理。

技术领域

本申请涉及计算机领域，尤其涉及一种数据处理方法、装置及设备和存储介质。

背景技术

在计算机的世界里，离不开对数据的处理。传统的数据处理模块直接从存储数据的磁盘中进行数据读取，由于从磁盘或数据库中进行数据读取速度较慢，所以相关技术采用缓存的方式来存储待处理数据，即预先将磁盘或数据库中的数据读取到缓存中，当需要待处理数据时，直接从缓存中读取待处理数据进行处理。由于从缓存中读取待处理数据的速度比从磁盘或数据库中读取的速度快，所以能够节约待处理数据的读取时间。

然而发明人在实现本发明的过程中发现，对于优先级别不同的待处理数据，需要根据数据的优先级别分别进行相应的处理，例如需要在缓存阶段分析待处理数据的优先级别，根据优先级别确定其相应的缓存区域，然后再根据缓存区域的优先级别进行数据处理，从而大大降低了数据处理效率。

发明内容

为了解决上述技术问题，本申请实施例提供了一种数据处理方法、装置及设备和存储介质，实现了提高数据处理效率的目的。

本申请实施例提供了一种数据处理方法，所述方法包括：

获取待处理数据集和所述待处理数据集对应的配额，所述待处理数据集至少包括两个，且至少两个所述待处理数据集对应的配额不同；

基于所述待处理数据集对应的配额，从所述待处理数据集中选择目标数据；

将所述目标数据存放到第一缓存池中，以对所述目标数据进行处理。

可选的，所述基于所述待处理数据集对应的配额，从所述待处理数据集中选择目标数据包括：

计算所述待处理数据集对应的配额的最大公约数；

根据所述待处理数据集对应的配额和所述最大公约数，计算从所述待处理数据集中选取的目标数据的数量；

按照计算得到的所述目标数据的数量从所述待处理数据集中选取所述目标数据。

可选的，所述方法还包括：当所述待处理数据集中不存在数据时，将所述待处理数据集删除。

可选的，所述基于所述待处理数据集对应的配额，从所述待处理数据集中选择目标数据包括：

若所述第一缓存池存放的所述目标数据的数量少于或等于预设阈值，则基于所述待处理数据集对应的配额，从所述待处理数据集中选择所述目标数据。

可选的，所述方法还包括：

将所述待处理数据集和所述待处理数据集对应的配额存储在第二缓存池中，所述第二缓存池包括第二值和分数，其中所述第二值存储所述待处理数据集，所述分数存储所述待处理数据集对应的配额。

可选的，所述基于所述待处理数据集对应的配额，从所述待处理数据集中选择目标数据包括：

基于所述第二缓存池中的分数，从所述第二值存储的所述待处理数据集中选择所述目标数据。

可选的，所述获取待处理数据集和所述待处理数据集对应的配额包括：

获取第一原始文件和所述第一原始文件的配置文件，所述第一原始文件中存储有多个待处理数据，所述配置文件中存储有所述多个待处理数据对应的配额；

根据所述多个待处理数据对应的配额，确定待处理数据集和所述待处理数据集对应的配额。