[发明专利]一种执行异步任务的方法、设备和计算机程序产品

说明书

本公开提供过一种执行异步任务的方法和设备，该方法可以实现在计算装置中，其中计算装置可以包括在组合处理装置中，该组合处理装置还可以包括通用互联接口和其他处理装置。所述计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据。

技术领域

本公开涉及计算机领域，更具体地，涉及任务的串行和并行执行。

背景技术

在目前的深度网络训练过程中，为了加速网络训练收敛的速度，通常会将一些甚至全部的训练任务(包括计算任务，通信任务，控制逻辑任务等)下发到专门的加速芯片中去执行(比如GPU,MLU,TPU等)。

网络训练任务会以异步形式被CPU下发给加速卡执行，加速卡中会有任务队列的概念，相同队列上的任务会按下发顺序依次执行，因此同一队列上的任务存在依赖关系，不同队列上的任务可以根据硬件资源的空闲情况并发执行。而目前的训练任务通常仅会下发在一个队列中执行，这不可避免地会影响任务的执行效率。

发明内容

本公开的一个目的是克服现有技术中不能充分利用通信或运算资源，并且容错能力较低的缺陷。

根据本公开的第一方面，提供一种执行异步任务的方法，包括：将任务队列中的一个总任务划分为多个分任务，每个分任务处于不同的分任务队列中；并行地执行所述多个分任务；响应于所述分任务执行完毕，从而使得所述总任务执行完毕。

根据本公开的第二方面，一种执行异步任务的装置，包括：划分单元，配置为将任务队列中的一个总任务划分为多个分任务，每个分任务处于不同的分任务队列中；分任务执行单元，配置为并行地执行所述多个分任务；结束单元，配置为响应于所述分任务执行完毕，从而使得所述总任务执行完毕。

根据本公开的第三方面，提供一种芯片，包括如上所述的装置。

根据本公开的第四方面，提供一种电子设备，包括如上所述的芯片。

根据本公开的第五方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，所述存储器中存储有计算机可执行指令，当所述计算机可执行指令由所述一个或多个处理器运行时，使得所述电子设备执行如上所述的方法。

根据本公开第六方面，提供一种计算机可读存储介质，包括计算机可执行指令，当所述计算机可执行指令由一个或多个处理器运行时，执行如上所述的方法。

本公开的技术方案能够将一个总任务分配到不同的分任务队列中，从而加速总任务的执行。此外，即使某一个分任务队列的执行出现错误，也无需重新执行全部分任务，从而降低任务的容错或重传的代价，减轻任务执行的负担，并且可以在用户不感知的情况下，实现任务的容错或重传处理。

附图说明

通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1a示出了根据本公开一个实施方式的执行异步任务的方法流程图；

图1b示出了根据本公开一个实施方式的任务下发队列和任务执行队列的示意图；

图2示出了根据本公开一个实施方式的将串行指令队列形成与并行模块对应的多个并行的程序指令队列；

图2a示出了根据本公开一个实施方式的将任务队列中的一个总任务划分为多个分任务的流程图；

图2b示出了根据本公开一个实施方式的在队列中插入标识的示意图；

图3示出了根据本公开另一个实施方式的队列示意图；