[发明专利]一种数据处理方法、装置及设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取待处理数据集和所述待处理数据集对应的配额，所述待处理数据集至少包括两个，且至少两个所述待处理数据集对应的配额不同；

计算所述待处理数据集对应的配额的最大公约数；

根据所述待处理数据集对应的配额和所述最大公约数，计算从所述待处理数据集中选取的目标数据的数量；

按照计算得到的所述目标数据的数量从所述待处理数据集中选取所述目标数据；

将所述目标数据存放到第一缓存池中，以对所述目标数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述待处理数据集中不存在数据时，将所述待处理数据集删除。

3.根据权利要求1所述的方法，其特征在于，所述基于所述待处理数据集对应的配额，从所述待处理数据集中选择目标数据包括：

若所述第一缓存池存放的所述目标数据的数量少于或等于预设阈值，则基于所述待处理数据集对应的配额，从所述待处理数据集中选择所述目标数据。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述待处理数据集和所述待处理数据集对应的配额存储在第二缓存池中，所述第二缓存池包括第二值和分数，其中所述第二值存储所述待处理数据集，所述分数存储所述待处理数据集对应的配额。

5.根据权利要求4所述的方法，其特征在于，所述基于所述待处理数据集对应的配额，从所述待处理数据集中选择目标数据包括：

基于所述第二缓存池中的分数，从所述第二值存储的所述待处理数据集中选择所述目标数据。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述获取待处理数据集和所述待处理数据集对应的配额包括：

获取第一原始文件和所述第一原始文件的配置文件，所述第一原始文件中存储有多个待处理数据，所述配置文件中存储有所述多个待处理数据对应的配额；

根据所述多个待处理数据对应的配额，确定待处理数据集和所述待处理数据集对应的配额。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述获取多个待处理数据集和所述多个待处理数据集分别对应的配额包括：

获取第二原始文件，所述第二原始文件的文件名中携带有各自的配额；

根据所述多个待处理数据对应的配额，确定待处理数据集和所述待处理数据集对应的配额。

8.一种数据处理装置，其特征在于，所述装置包括：

获取单元、选择单元和第一存储单元；

其中，所述获取单元，用于获取待处理数据集和所述待处理数据集对应的配额，所述待处理数据集至少包括两个，且至少两个所述待处理数据集对应的配额不同；

所述选择单元，用于基于所述待处理数据集对应的配额，计算从每个所述待处理数据集中选取的目标数据的数量，并根据所述目标数据的数量从所述待处理数据集中选择目标数据；

所述第一存储单元，用于将所述目标数据存放到第一缓存池中，以对所述目标数据进行处理；

其中，所述选择单元包括：

第一计算单元、第二计算单元和选取单元；

其中，所述第一计算单元，用于计算所述待处理数据集对应的配额的最大公约数；

所述第二计算单元，用于根据所述待处理数据集对应的配额和所述最大公约数，计算从所述待处理数据集中选取的目标数据的数量；

所述选取单元，用于按照计算得到的所述目标数据的数量从所述待处理数据集中选取所述目标数据。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

删除单元，用于当所述待处理数据集中不存在数据时，将所述待处理数据集删除。

10.根据权利要求8所述的装置，其特征在于，所述选择单元，具体用于若所述第一缓存池存放的所述目标数据的数量少于或等于预设阈值，则基于所述待处理数据集对应的配额，从所述待处理数据集中选择所述目标数据。