[发明专利]数据处理方法以及系统

权利要求书

1.一种数据处理方法，应用于数据处理系统，所述系统包括调度节点、第二计算节点和至少两个第一计算节点，包括：

所述调度节点，响应于数据查询命令确定第一计算任务和第二计算任务，将所述第一计算任务分配到所述至少两个第一计算节点，将所述第二计算任务分配到所述第二计算节点，其中，所述第一计算任务以及所述第二计算任务中携带有目标数据量；

所述第一计算节点，根据所述第一计算任务确定数据节点，并获取所述数据节点中的原始数据，确定所述原始数据的数据量与预设堆结构的元素数量，将所述原始数据的数据量与所述元素数量进行比较，根据比较的结果利用所述预设堆结构对所述原始数据进行排序得到初始数据，且将所述初始数据发送至第二计算节点，其中，所述元素数量等于所述目标数据量，所述初始数据的数据量小于或等于所述原始数据的数据量；

所述第二计算节点，根据所述第二计算任务，从所述排序后的初始数据中顺序获取目标数据量的目标数据。

2.根据权利要求1所述的方法，所述响应于数据查询命令确定第一计算任务和第二计算任务，包括：

所述调度节点，响应于数据查询指令，对所述数据查询指令进行语义解析得到初始抽象语法树，其中，所述数据查询指令中携带有目标数据量；

将所述初始抽象语法树进行组装得到目标抽象语法树；

根据所述目标抽象语法树确定第一计算任务和第二计算任务。

3.根据权利要求1所述的方法，所述将所述第一计算任务分配到所述至少两个第一计算节点，包括：

所述调度节点，根据所述第一计算任务确定数据节点，其中，所述数据节点为多个；

根据所述数据节点中原始数据的数量，确定所述数据节点对应的第一计算节点的数量，其中，所述原始数据包括所述初始数据；

根据所述第一计算节点的数量和亲和性规则确定原始数据对应的第一计算节点。

4.根据权利要求3所述的方法，所述根据所述数据节点中原始数据的数量，确定所述数据节点对应的第一计算节点的数量，包括：

所述调度节点，在所述数据节点中原始数据的数量超过数量阈值的情况下，确定所述数据节点对应至少两个第一计算节点，其中，所述至少两个第一计算节点包括所述数据节点；

在所述数据节点中原始数据的数量未超过数量阈值的情况下，确定所述数据节点为第一计算节点。

5.根据权利要求4所述的方法，所述在所述数据节点中原始数据的数量超过数量阈值的情况下，确定所述数据节点对应至少两个第一计算节点，包括：

所述调度节点，确定所述数据节点中原始数据的数量和所述数量阈值的比值，在所述比值为整数的情况下，确定所述比值为所述数据节点对应的第一计算节点的数量；

在所述比值不为整数的情况下，确定大于所述比值的整数为所述数据节点对应的第一计算节点的数量。

6.根据权利要求1所述的方法，所述第一计算节点，根据所述第一计算任务确定数据节点，并获取所述数据节点中的原始数据，确定所述原始数据的数据量与预设堆结构的元素数量，将所述原始数据的数据量与所述元素数量进行比较，根据比较的结果利用所述预设堆结构对所述原始数据进行排序得到初始数据，包括：

所述第一计算节点，根据所述第一计算任务确定数据节点，并获取所述数据节点中的原始数据；

确定所述原始数据的数据量与预设堆结构的元素数量；

在所述原始数据的数据量小于等于所述元素数量的情况下，将所述原始数据放入所述堆结构中，将所述堆结构中的数据作为所述初始数据；以及

在所述原始数据的数据量大于所述元素数量的情况下，从所述原始数据中取出所述元素数量的数据放入所述堆结构中，将所述原始数据中的其他数据插入所述堆结构，将所述堆结构中的数据作为所述初始数据，其中，所述其他数据为未放入所述堆结构的原始数据。