[发明专利]扫描任务的生成方法及装置、电子设备

权利要求书

1.一种扫描任务的生成方法，包括：

获取待扫描节点中待扫描分区的分区数量；

获取分配于所述待扫描节点的节点并行度，所述获取分配于所述待扫描节点的节点并行度，包括：获取所述待扫描节点所处系统架构中所有节点的总并行度与总分区数量；按照所述分区数量与所述总分区数量的比例，对所述总并行度进行分配，以得到所述节点并行度；

确定所述分区数量与所述节点并行度的大小关系；

生成多个并行扫描任务，所述多个并行扫描任务的扫描范围与所述大小关系相关。

2.根据权利要求1所述的方法，所述获取待扫描节点中待扫描分区的分区数量，包括：

采用动态数据过滤技术对所述待扫描节点包含的分区进行过滤，以得到所述待扫描分区；

获取所述待扫描分区的分区数量。

3.根据权利要求1所述的方法，所述生成多个并行扫描任务，包括：

当所述分区数量大于预设倍数的所述节点并行度，且各待扫描分区之间不存在数据倾斜时，采用分区范围的方式划分并行扫描任务。

4.根据权利要求1所述的方法，所述生成多个并行扫描任务，包括：

当所述分区数量大于预设倍数的所述节点并行度，且各待扫描分区之间存在数据倾斜时，或者当所述分区数量不大于预设倍数的所述节点并行度时，采用宏块范围的方式划分并行扫描任务。

5.根据权利要求4所述的方法，还包括：

获取采用宏块范围的方式划分出的并行扫描任务的任务数量；

当所述任务数量不在任务数量范围内时，将所述任务数量调整至所述任务数量范围内，所述任务数量范围的边界值与所述节点并行度相关联。

6.根据权利要求4所述的方法，还包括：

除采用宏块范围的方式划分出的并行扫描任务外，针对所述待扫描节点中的每一空分区生成其他并行扫描任务。

7.根据权利要求1所述的方法，还包括：

当采用宏块范围的方式划分并行扫描任务时，获取所有并行扫描任务的任务总数量；

获取各待扫描分区包含的宏块数量，以及所有待扫描分区的宏块总数量；

按照各待扫描分区包含的宏块数量与所述宏块总数量的比例分配所述任务总数量，以得到对应于各待扫描分区的任务数量。

8.一种扫描任务的生成装置，包括：

分区获取单元，获取待扫描节点中待扫描分区的分区数量；

并行度获取单元，获取分配于所述待扫描节点的节点并行度，所述并行度获取单元具体用于：获取所述待扫描节点所处系统架构中所有节点的总并行度与总分区数量；按照所述分区数量与所述总分区数量的比例，对所述总并行度进行分配，以得到所述节点并行度；

确定单元，确定所述分区数量与所述节点并行度的大小关系；

第一生成单元，生成多个并行扫描任务，所述多个并行扫描任务的扫描范围与所述大小关系相关。

9.根据权利要求8所述的装置，所述分区获取单元具体用于：

采用动态数据过滤技术对所述待扫描节点包含的分区进行过滤，以得到所述待扫描分区；

获取所述待扫描分区的分区数量。

10.根据权利要求8所述的装置，所述第一生成单元具体用于：

当所述分区数量大于预设倍数的所述节点并行度，且各待扫描分区之间不存在数据倾斜时，采用分区范围的方式划分并行扫描任务。

11.根据权利要求8所述的装置，所述第一生成单元具体用于：

当所述分区数量大于预设倍数的所述节点并行度，且各待扫描分区之间存在数据倾斜时，或者当所述分区数量不大于预设倍数的所述节点并行度时，采用宏块范围的方式划分并行扫描任务。