[发明专利]神经网络模型中网络层的分配方法与装置

权利要求书

1.一种神经网络模型中网络层的分配方法，包括：

获取待处理神经网络模型与计算设备集合；

根据所述待处理神经网络模型中的网络层与所述计算设备集合中的计算设备，生成目标数量的分配方案，所述分配方案中包含网络层与计算设备之间的对应关系；

根据计算设备的设备类型，将各个分配方案中对应相同的设备类型的网络层合并为一个阶段，得到各个分配方案的合并结果；

根据各个分配方案的合并结果，得到各个分配方案的适应值；

根据所述适应值从各个分配方案中确定目标分配方案，将所述目标分配方案作为所述待处理神经网络模型中网络层的分配结果；

其中，所述根据各个分配方案的合并结果，得到各个分配方案的适应值包括：

针对每个分配方案的合并结果，根据该分配方案的合并结果中每个阶段对应的计算设备数量、初始计算耗时与初始通信耗时、以及第一批量大小，得到每个阶段的计算耗时与通信耗时；

根据每个阶段的计算耗时与通信耗时，得到每个阶段的执行时间；

根据每个阶段的执行时间与第二批量大小，得到每个阶段的吞吐量；

根据训练次数、总样本数量与每个阶段的吞吐量，得到总执行时间；

根据所述总执行时间与该分配方案包含的计算设备的属性信息，得到该分配方案的适应值。

2.根据权利要求1所述的方法，其中，所述目标数量是根据训练数据的批量大小与预设迭代次数得到的。

3.根据权利要求1-2中任一项所述的方法，其中，所述根据所述待处理神经网络模型中的网络层与所述计算设备集合中的计算设备，生成目标数量的分配方案包括：

针对所述待处理神经网络模型中的每个网络层，获取该网络层在所述计算设备集合中的各个计算设备上的运行信息；

将运行信息满足第一预设要求的计算设备，作为该网络层的目标计算设备；

根据每个网络层、以及每个网络层的目标计算设备，生成第一分配方案；

根据所述待处理神经网络模型中的每个网络层、以及针对每个网络层从所述计算设备集合中随机选取的一个计算设备，生成第二分配方案；

重复执行生成所述第二分配方案的步骤，直至所述第一分配方案与所述第二分配方案的数量之和达到所述目标数量。

4.根据权利要求1所述的方法，其中，所述根据所述适应值从各个分配方案中确定目标分配方案包括：

将所述目标数量的分配方案作为种群；

根据所述适应值，从所述种群中选择两个分配方案作为父代分配方案与母代分配方案；

根据所述父代分配方案与所述母代分配方案，生成第一子代分配方案与第二子代分配方案；

根据所述第一子代分配方案与所述第二子代分配方案，生成两个新的子代分配方案，并添加至所述种群中；

计算所述两个新的子代分配方案的适应值之后，将所述种群中适应值满足第二预设条件的两个分配方案进行移除；

重复执行上述除将所述目标数量的分配方案作为种群以外的步骤，直至达到预设迭代次数，将所述种群中适应值最小的分配方案作为所述目标分配方案。

5.根据权利要求1所述的方法，还包括，

在将所述目标分配方案作为所述待处理神经网络模型中网络层的分配结果之后，根据所述目标分配方案，将所述待处理神经网络模型中的网络层分配到对应的计算设备；

将分配到相同的设备类型的计算设备上的网络层合并为一个阶段；

使用训练数据在相应的计算设备上对各个阶段进行并行训练，以完成对所述待处理神经网络模型的训练。