[发明专利]数据处理方法以及系统

说明书

本说明书实施例提供一种数据处理方法以及系统，其中数据处理方法包括：调度节点，将第一计算任务分配到至少两个第一计算节点，将第二计算任务分配到第二计算节点，其中，第一计算任务以及第二计算任务中携带有目标数据量；第一计算节点，根据第一计算任务进行数据查询得到与目标数据量相同的初始数据，并对初始数据进行排序，且将排序后的初始数据发送至第二计算节点，第二计算节点，根据第二计算任务，从排序后的初始数据中顺序获取目标数据量的目标数据。由于第二计算节点接收到的初始数据为有序的，所以在获取目标数据时可以顺序获取目标数据量的目标数据即可，不用处理所有初始数据，减少了数据处理量和使用的处理资源，提高了数据处理效率。

技术领域

本说明书实施例涉及数据处理技术领域，特别涉及一种数据处理方法。

背景技术

行数限定是数据库的基本功能，数量限定通常采用堆方式实现排序，并且保持固定元素数量。单机版数据库由于硬件资源受限，处理性能不能很好的满足大数据需求。分布式数据库往往采用分阶段的方式实现行数限定功能，但局部计算阶段和最终计算阶段均采用堆实现，且为了防止出现内存溢出，局部计算阶段在限定数量较大时会多次输出结果到最终计算阶段。这样导致最终计算阶段数据处理量大，造成资源浪费。

发明内容

有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种数据处理方法，应用于数据处理系统，所述系统包括调度节点、第二计算节点和至少两个第一计算节点，包括：

所述调度节点，响应于数据查询命令确定第一计算任务和第二计算任务，将所述第一计算任务分配到所述至少两个第一计算节点，将所述第二计算任务分配到所述第二计算节点，其中，所述第一计算任务以及所述第二计算任务中携带有目标数据量；

所述第一计算节点，根据第一计算任务进行数据查询得到与所述目标数据量相同的初始数据，并对所述初始数据进行排序，且将排序后的初始数据发送至第二计算节点；

所述第二计算节点，根据所述第二计算任务，从所述排序后的初始数据中顺序获取目标数据量的目标数据。

根据本说明书实施例的第二方面，提供了一种数据处理系统，包括调度节点、第二计算节点和至少两个第一计算节点；

所述调度节点，被配置为响应于数据查询命令确定第一计算任务和第二计算任务，将所述第一计算任务分配到所述至少两个第一计算节点，将所述第二计算任务分配到所述第二计算节点，其中，所述第一计算任务以及所述第二计算任务中携带有目标数据量；

所述第一计算节点，被配置为根据第一计算任务进行数据查询得到与所述目标数据量相同的初始数据，并对所述初始数据进行排序，且将排序后的初始数据发送至第二计算节点；

所述第二计算节点，被配置为根据所述第二计算任务，从所述排序后的初始数据中顺序获取目标数据量的目标数据。

根据本说明书实施例的第三方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据处理方法的步骤。

根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。