[发明专利]一种基于层数分割的异构计算方法及装置

说明书

本发明提供一种基于层数分割的异构计算方法及装置，基于多个处理器进行运算，包括：预测卷积神经网络模型在多个处理器中的第一处理器上运算所需的第一时间，当第一时间超过第一阈值时，将卷积神经网络模型分割为至少两个子模型；至少两个子模型中的第一子模型在第一处理器上运算，至少两个子模型中的第二子模型在多个处理器中的第二处理器上运算；动态调配至少两个子模型的层数，至少两个子模型的层数之和为卷积神经网络模型的总层数。本发明提供的基于层数分割的异构计算方法及装置，通过卷积神经网络按层数分割成子模型后分配到多个处理器的硬件单元，从而在有剩余算力的系统提高了卷积神经网络的加速计算效率。

技术领域

本发明实施例涉及数据处理技术领域，特别是涉及一种基于层数分割的异构计算方法及装置。

背景技术

随着人工智能在端侧计算系统中的广泛应用，卷积神经网络（ConvolutionalNeural Network，以下简称CNN）被广泛部署于各类异构计算平台。CNN由于计算量大，实时性要求高等特点，逐渐成为人工智能领域的瓶颈。

现有技术中，常见的解决方案包括：

1、使用低复杂度的CNN模型，这使得现有的各种算法模型无法得益。

2、使用大算力的嵌入式神经网络处理器（Neural-network Process Units，以下简称NPU），或者多个NPU互联，这使得成本大幅度上升。

3、将CNN模型及数据发送到云平台上进行计算，再将结果返回，由于CNN数据量大导致的网络传输延迟、不同云平台之间的同步，导致该方法并不能满足实时性要求。

常见的嵌入式系统通常都包含NPU、GPU（Graphic Processing Unit，图形处理器）和CPU（Central Processing Unit，中央处理器）等不同类型的硬件单元，通常只有NPU执行CNN的推理工作，而GPU、CPU等硬件相对比较空闲，因为目前各类深度学习算子都可以在不同的硬件上实现，因此利用系统中GPU、CPU的性能余量以辅助NPU的CNN推理工作成为了可能。

发明内容

本发明提供一种基于层数分割的异构计算方法及装置，通过将卷积神经网络按层数分割成子模型后分配到多个处理器的硬件单元，从而在有剩余算力的系统提高了卷积神经网络的加速计算效率。

本发明实施例提供一种基于层数分割的异构计算方法，基于多个处理器进行运算，包括：

预测卷积神经网络模型在所述多个处理器中的第一处理器上运算所需的第一时间，当所述第一时间超过第一阈值时，将所述卷积神经网络模型分割为至少两个子模型；

所述至少两个子模型中的第一子模型在所述第一处理器上运算，所述至少两个子模型中的第二子模型在所述多个处理器中的第二处理器上运算；

动态调配所述至少两个子模型的层数，所述至少两个子模型的层数之和为所述卷积神经网络模型的总层数。

优选地，预测所述卷积神经网络模型在所述多个处理器中的所述第一处理器和所述第二处理器上运算所需的第二时间，当所述第二时间超过第二阈值时，将所述卷积神经网络模型分割为三个子模型；

所述三个子模型中的所述第一子模型在所述第一处理器上运算，所述三个子模型中的所述第二子模型在所述第二处理器上运算，所述三个子模型中的第三子模型在所述多个处理器中的第三处理器上运算。

优选地，所述当所述第一时间超过第一阈值时，将所述卷积神经网络模型分割为至少两个子模型，包括所述至少两个子模型中的所述第一子模型在所述第一处理器上运算，所述至少两个子模型中的所述第二子模型在所述第二处理器上运算，所述至少两个子模型中的第三子模型在所述多个处理器中的第三处理器上运算。

优选地，所述动态调配所述至少两个子模型的层数包括根据所述多个处理器的历史性能余量进行动态调配。