[发明专利]数据处理方法、装置、设备、介质及程序产品

权利要求书

1.一种数据处理方法，其特征在于，所述方法应用于数据处理平台，包括：

根据数据存储平台的数据队列中存储的待处理数据的数量M，确定从所述数据队列提取的待处理数据的数量N，其中，所述M和所述N均为大于或等于1的正整数，所述M大于所述N、且所述M与所述N正相关；

从所述数据队列中批量提取N个待处理数据；

并行处理所述N个待处理数据。

2.根据权利要求1所述的方法，其特征在于，所述根据数据存储平台的数据队列中存储的待处理数据的数量M，确定从所述数据队列提取的待处理数据的数量N，包括：

根据第一函数、第二函数和第三函数，确定从所述数据队列提取的待处理数据的数量N；

其中，所述第一函数，用于表征所述数据处理平台并行处理不同数量的待处理数据的时延；

所述第二函数，用于表征从所述数据队列中提取不同数量的待处理数据时，所述数据处理平台存储处理后的所述待处理数据的存储次数；

所述第三函数，用于表征在所述数据存储平台的数据队列中存储的待处理数据的数量为M时，从所述数据队列中提取N个待处理数据时，所述数据存储平台中待处理数据的积压压力。

3.根据权利要求2所述的方法，其特征在于，所述根据第一函数、第二函数和第三函数，确定从所述数据队列提取的待处理数据的数量N，包括：

计算目标函数的最小值，确定所述N，所述目标函数为：

F(N)＝aD(N)+bP(N)+cS(M，N)

其中，F(N)为所述目标函数，D(N)为所述第一函数，P(N)为所述第二函数，S(M，N)为所述第三函数，a、b和c均为权重系数、且所述a、b和c之和等于1。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：

在预设时长内，若接收到来自外部平台的至少一个待处理数据，则将所述至少一个待处理数据批量写入所述数据队列中。

5.根据权利要求4所述的方法，其特征在于，所述将所述至少一个待处理数据批量写入所述数据队列中，包括：

根据预设的写入速度和/或预设的批量写入数量，将所述至少一个待处理数据批量写入所述数据队列中。

6.根据权利要求1-3中任一项所述的方法，其特征在于，所述并行处理所述N个待处理数据之后，所述方法还包括：

若所述N个待处理数据中的目标数据处理失败，则将所述目标数据重新写入所述数据队列中。

7.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：

将处理后的所述N个待处理数据批量存储于所述数据处理平台的数据库中。

8.一种数据处理装置，其特征在于，所述装置应用于数据处理平台，所述装置包括：

确定模块，用于根据数据存储平台的数据队列中存储的待处理数据的数量M，确定从所述数据队列提取的待处理数据的数量N，其中，所述M和所述N均为大于或等于1的正整数，所述M大于所述N、且所述M与所述N正相关；

获取模块，用于从所述数据队列中批量提取N个待处理数据；

处理模块，用于并行处理所述N个待处理数据。

9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行权利要求1-7中任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的数据处理方法。

11.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的数据处理方法。