[发明专利]数据处理方法及装置、存储介质、计算设备

说明书

一种数据处理方法及装置、存储介质、计算设备，所述方法包括：接收多个数据处理请求，所述多个数据处理请求来自一个或多个用户设备组；创建多个请求文件，所述请求文件与所述数据处理请求一一对应，每个请求文件包括与该请求文件对应的数据处理请求的内容信息；分多次从所述多个请求文件获取所述内容信息，并对每次获取的内容信息进行缓存；将缓存的内容信息发送至多个执行终端，以使所述多个执行终端对当前可处理数据进行处理并得到处理结果。通过本发明的方案，可以充分利用服务器的算力，提高数据处理的效率，并将批处理任务和实时处理任务的待处理数据合并在同一接口中，可以降低运维成本。

技术领域

本发明涉及一种数据处理技术领域，尤其涉及一种数据处理方法及装置、存储介质、终端。

背景技术

随着技术的发展，对于数据处理的需求越来越大，用户设备通常需要向服务器请求处理大批量的数据，当用户设备请求处理的数据量过大时，容易造成服务器卡顿，无法充分利用服务器的运算能力，从而导致数据处理的效率较低。

因此，亟需一种数据处理方法，能够避免服务器卡顿，从而提高数据处理的效率。

发明内容

本发明解决的技术问题是如何避免服务器卡顿，提高数据处理的效率。

为解决上述技术问题，本发明实施例提供一种数据处理方法，所述方法包括：接收多个数据处理请求，所述多个数据处理请求来自一个或多个用户设备组，每个数据处理请求用于请求对请求设备组发送的待处理数据进行处理，所述请求设备组为发送该数据处理请求的用户设备组；创建多个请求文件，所述请求文件与所述数据处理请求一一对应，每个请求文件包括与该请求文件对应的数据处理请求的内容信息，其中，所述内容信息为所述数据处理请求所请求处理的待处理数据或所述待处理数据的数据信息；分多次从所述多个请求文件获取所述内容信息，并对每次获取的内容信息进行缓存；将缓存的内容信息发送至多个执行终端，以使所述多个执行终端对当前可处理数据进行处理并得到处理结果，其中，所述当前可处理数据为所述缓存的待处理数据或缓存的数据信息对应的待处理数据。通过本发明的方案，可以提高数据处理的效率。

可选的，所述请求文件还包括与该请求文件对应的数据处理请求的请求信息，所述请求信息包括：所述请求设备组的标识、请求时间和所述数据处理请求所请求处理的待处理数据的数量，所述请求时间为所述请求设备组发送所述数据处理请求的时间。

可选的，每一请求文件的文件名为该请求文件对应的数据处理请求的请求信息。

可选的，每次从所述多个请求文件中获取所述内容信息之前，所述方法还包括：获取多个请求文件的请求信息；根据所述请求时间确定每个请求文件中本次被获取的内容信息的数量。

可选的，每次从所述多个请求文件中获取所述内容信息之前，所述方法还包括：根据所述请求信息，确定所述请求设备组的数量，其中，每个请求设备组对应至少一个请求文件；确定各个请求设备组的权重；根据所述请求设备组的权重和预设的数量阈值确定各个请求设备组的席位数量，所述席位数量为所述请求设备组对应的至少一个请求文件中本次被获取的内容信息的总数量；针对每个请求设备组对应的至少一个请求文件，根据所述请求时间确定出总数量等于所述席位数量的内容信息。

可选的，确定各个请求设备组的权重包括：根据每个请求设备组对应的至少一个请求文件中最早的请求时间确定该请求设备组的优先级，其中，所述最早的请求时间越早，所述优先级越高；根据每个请求设备组的优先级和所述请求设备组的数量确定该请求设备组的权重，其中，所述优先级越高，所述权重越大。

可选的，根据所述请求时间确定出总数量等于所述席位数量的内容信息包括：对于每个请求设备组对应的至少一个请求文件，按照所述请求时间的先后顺序，依次将每个请求文件中未被获取过的内容信息作为该请求文件中本次被获取的内容信息，直到确定出的内容信息的数量达到该请求设备组的席位数量为止。