[发明专利]异构计算中计算单元的管理方法及相应处理器

说明书

本公开提供了异构计算中计算单元的管理方法及相应处理器，其中为每个计算单元设置有与其对应的命令管理寄存器和命令状态寄存器，命令管理寄存器的各个比特位指示与其对应的计算单元的命令缓存中各个条目是否处于空闲状态，命令状态寄存器的各个比特位指示与其对应的计算单元中各个命令的执行状态。该方案基于命令管理寄存器和命令状态寄存器实现了对多个计算单元的管理，提高了异构计算处理器对计算命令的执行效率，具有良好的可扩展性。

技术领域

本申请涉及高性能计算和异构计算，尤其涉及异构计算中计算单元的管理方法及相应处理器。

背景技术

本部分的陈述仅仅是为了提供与本申请的技术方案有关的背景信息，以帮助理解，其对于本申请的技术方案而言并不一定构成现有技术。

近年来，深度神经网络已经非常流行，其计算任务具有数据量大、计算量大，计算种类多等特点。深度神经网络的计算任务通常是以有向无环数据流图为组织形式。这些计算任务的执行顺序可以是串行执行，也可以是并行执行。根据图的拓扑关系，这些计算任务往往会分配到多个命令列表中。需要串行执行的计算任务通常会被分配到同一命令列表中，以便让硬件顺序执行；而可以并行执行的计算任务通常会被分配到多个不同的命令列表中，以便让硬件并行执行来提高计算效率。现有的串行指令执行方式的中央处理器CPU执行并行算法的效率很低，因此出现了“CPU+硬件加速器”的异构计算架构，其中硬件加速器(也可称为协处理器)专门处理大量计算任务，而其他非计算任务可由CPU(也可称为主处理器)负责。

针对深度神经网络的各种硬件加速器中，异构计算处理器由于拥有多种针对计算任务加速的专用硬件计算单元，相比传统的图像处理单元GPU(Graphics ProcessingUnit)，拥有更高的计算效率和更低的功耗。但由于异构处理器中包含的计算单元种类多样且各种计算单元执行命令的特性不同，使得对于各个计算单元的管理面临很多挑战。

需要说明的是，上述内容仅用于帮助理解本申请的技术方案，并不作为评价本申请的现有技术的依据。

发明内容

本申请的目的是提供一种异构计算中管理计算单元方法及异构计算处理器，以简单高效的方式实现了多个计算单元管理，提高了计算命令的执行效率。

上述目的是通过以下技术方案实现的：

根据本申请实施例的第一方面，提供了一种异构计算中计算单元的管理方法，其中为每个计算单元设置有与其对应的命令管理寄存器和命令状态寄存器，命令管理寄存器的各个比特位指示对应计算单元的命令缓存中各个条目是否处于空闲状态，命令状态寄存器的各个比特位指示对应计算单元中各个命令的执行状态；所述方法包括：

根据待执行的命令的类型，确定适于执行该类型命令的计算单元相对应的命令管理寄存器；从所确定的命令管理寄存器中选择具有指示空闲状态的比特位的命令管理寄存器，将其中一个指示空闲状态的比特位在命令管理寄存器中的序号作为所述待执行的命令的序号并将该比特位设置为指示非空闲状态；将所述待执行的命令及其序号发送到与所选择的命令管理寄存器相对应的计算单元，并在该计算单元对应的命令状态寄存器中将与所述序号对应的比特位设置为指示未完成状态；以及响应于收到来自计算单元的命令完成信号，在该计算单元对应的命令状态寄存器中将与所完成的命令的序号对应的比特位设置为指示已完成状态，并在该计算单元对应的命令管理寄存器中将与所完成的命令的序号对应的比特位设置为指示空闲状态。

在一些实施例中，选择具有指示空闲状态的比特位的命令管理寄存器可以包括：通过读取命令管理寄存器的值来识别命令管理寄存器中具有指示空闲状态的比特位的数量；以及选择具有最大数量的指示空闲状态的比特位的命令管理寄存器。

在一些实施例中，选择具有指示空闲状态的比特位的命令管理寄存器可以包括：以轮询的方式选择具有指示空闲状态的比特位的命令管理寄存器。

在一些实施例中，该方法还可包括：通过设置计算单元的相对应的命令管理寄存器的值来将该计算单元的状态设置为不可用。