[发明专利]数据并行处理方法、执行器、计算机设备和存储介质

说明书

本申请涉及并行计算领域，通过向分布式管理器发送数据集合的完成反馈信息，并检测分布式管理器记录的完成状态，实现多个执行器并行获取一致的数据，避免获取重复的数据，提高了效率。尤其涉及一种数据并行处理方法、执行器、计算机设备和存储介质，该数据并行处理方法包括：根据调度中心发送的任务指令获取待处理数据集合；若完成获取待处理数据集合，向分布式管理器发送完成反馈信息；若检测到分布式管理器记录的所有执行器的完成状态，根据预设的分片规则将待处理数据集合分为多个待处理数据组合；确定多个待处理数据组合中的一个为目标数据组合，将处理目标数据组合的处理结果输出至接收装置，接收装置根据处理结果确定任务指令的任务结果。

技术领域

本申请涉及并行计算领域，尤其涉及一种数据并行处理方法、执行器、计算机设备和存储介质。

背景技术

分布式调度框架在互联网平台中存在广泛的应用，主要用于提高系统任务的执行效率，提高系统的容错能力。任务调度框架通常由调度中心和执行器两部分组合，其中调度中心负责任务的分发，将同一个任务分发到不同的执行器节点，而执行器节点则用于接收调度中心分发的任务，负责任务的执行和处理。

现有的分布式调度框架在进行任务分发时，不同执行器从数据库获取数据的时间节点存在较大差异，不同的执行器在获取待数据时数据库中数据的状态可能会不一致，从而导致获取到重复的待处理数据。

发明内容

本申请提供了一种数据并行处理方法、装置、计算机设备和存储介质，可以实现多个执行器并行获取一致的数据，避免获取重复的数据，有效地提高执行器的执行效率。

第一方面，本申请提供了一种数据并行处理方法，所述方法包括：

若接收到调度中心发送的任务指令，根据所述任务指令获取待处理数据集合，所述任务指令包括执行器总数；

若完成获取所述待处理数据集合，向分布式管理器发送完成反馈信息，以使所述分布式管理器记录所述执行器的完成状态；

检测所述分布式管理器是否记录所述任务指令对应的所有执行器的完成状态；

若检测到所述分布式管理器记录所述任务指令对应的所有执行器的完成状态，根据预设的分片规则将所述待处理数据集合分为多个待处理数据组合；

确定所述多个待处理数据组合中的一个为目标数据组合，处理所述目标数据组合，将处理结果输出至接收装置，以使所述接收装置根据所述任务指令对应的所有执行器的处理结果确定所述任务指令的任务结果。

第二方面，本申请还提供了一种数据并行处理执行器，所述执行器包括：

数据获取模块，用于若接收到调度中心发送的任务指令，根据所述任务指令获取待处理数据集合，所述任务指令包括执行器总数；

反馈信息发送模块，用于若完成获取所述待处理数据集合，向分布式管理器发送完成反馈信息，以使所述分布式管理器记录所述执行器的完成状态；

状态检测模块，用于检测所述分布式管理器是否记录所述任务指令对应的所有执行器的完成状态；

数据分片模块，用于若检测到所述分布式管理器记录所述任务指令对应的所有执行器的完成状态，根据预设的分片规则将所述待处理数据集合分为多个待处理数据组合；

数据处理模块，用于确定所述多个待处理数据组合中的一个为目标数据组合，处理所述目标数据组合，将处理结果输出至接收装置，以使所述接收装置根据所述任务指令对应的所有执行器的处理结果确定所述任务指令的任务结果。

第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；

所述存储器，用于存储计算机程序；