[发明专利]数据处理方法、装置、设备、介质及程序产品

说明书

本申请提供一种数据处理方法、装置、设备、介质及程序产品，该方法包括：根据数据存储平台的数据队列中存储的待处理数据的数量M，确定从所述数据队列提取的待处理数据的数量N，其中，所述M和所述N均为大于或等于1的正整数，所述M大于所述N、且所述M与所述N正相关；从所述数据队列中批量提取N个待处理数据；并行处理所述N个待处理数据。本申请的方法可以提高处理待处理数据的正确性和效率。

技术领域

本申请涉及数据处理技术，尤其涉及一种数据处理方法、装置、设备、介质及程序产品。

背景技术

随着信息技术和网络技术的飞速发展，以及数字化时代的来临，信息化管理水平得到不断提高，以往通过人力直接完成的流程管理，已经有了成熟的电子化管理环境。由于技术限制，有很多数据存量的流程管理系统需要对所有待处理数据进行整合处理。

为了方便用户的流程管理，可以通过一个数据处理平台完成对多个流程管理系统的多个待处理数据的处理。对于该数据处理平台来讲，需要对接多个流程管理系统，可能会在某一时间段内接收到来自于不同流程管理系统的多条待处理数据。由于该数据处理平台中缓存的待处理数据的处理压力较大，在单位时间段内需要处理的待处理数据较多，难以正确、高效地处理每一条待处理数据。

发明内容

本申请提供一种数据处理方法、装置、设备、介质及程序产品，用以提高处理待处理数据的正确性和效率。

第一方面，本申请提供一种数据处理方法，所述方法应用于数据处理平台，包括：根据数据存储平台的数据队列中存储的待处理数据的数量M，确定从所述数据队列提取的待处理数据的数量N，其中，所述M和所述N均为大于或等于1的正整数，所述M大于所述N、且所述M与所述N正相关；从所述数据队列中批量提取N个待处理数据；并行处理所述N个待处理数据。

结合第一方面，在第一方面的某些实现方式中，所述根据数据存储平台的数据队列中存储的待处理数据的数量M，确定从所述数据队列提取的待处理数据的数量N，包括：根据第一函数、第二函数和第三函数，确定从所述数据队列提取的待处理数据的数量N；其中，所述第一函数，用于表征所述数据处理平台并行处理不同数量的待处理数据的时延；所述第二函数，用于表征从所述数据队列中提取不同数量的待处理数据时，所述数据处理平台存储处理后的所述待处理数据的存储次数；所述第三函数，用于表征在所述数据存储平台的数据队列中存储的待处理数据的数量为M时，从所述数据队列中提取N个待处理数据时，所述数据存储平台中待处理数据的积压压力。

结合第一方面，在第一方面的某些实现方式中，所述根据第一函数、第二函数和第三函数，确定从所述数据队列提取的待处理数据的数量N，包括：计算目标函数的最小值，确定所述N，所述目标函数为：

F(N)＝aD(N)+bP(N)+cS(M，N)

其中，F(N)为所述目标函数，D(N)为所述第一函数，P(N)为所述第二函数，S(M，N)为所述第三函数，a、b和c均为权重系数、且所述a、b和c之和等于1。

基于上述方案，若从数据存储平台的数据队列中提取的待处理数据的数量N越大，则数据处理平台处理待处理数据的时延越大，该数据处理平台存储处理后的待处理数据的存储次数越少，数据存储平台中待处理数据的积压压力越大。因此，取该三个函数值加和最小时对应的N为批量提取的待处理数据的数量，可以确保数据处理平台并行处理待处理数据的时延较小、处理后的待处理数据的存储效率也较高、且数据存储平台中待处理数据的积压压力也相对较小。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：在预设时长内，若接收到来自外部平台的至少一个待处理数据，则将所述至少一个待处理数据批量写入所述数据队列中。