[发明专利]神经网络模型中网络层的分配方法与装置

说明书

本公开提供一种神经网络模型中网络层的分配方法、装置、电子设备及可读存储介质，涉及深度学习、大数据、云服务等人工智能技术领域。其中，神经网络模型中网络层的分配方法包括：获取待处理神经网络模型与计算设备集合；根据待处理神经网络模型中的网络层与计算设备集合中的计算设备，生成目标数量的分配方案，分配方案中包含网络层与计算设备之间的对应关系；根据计算设备的设备类型，将各个分配方案中对应相同的设备类型的网络层合并为一个阶段，得到各个分配方案的合并结果；根据各个分配方案的合并结果，得到各个分配方案的适应值；根据适应值从各个分配方案中确定目标分配方案，将目标分配方案作为待处理神经网络模型中网络层的分配结果。

技术领域

本公开涉及计算机技术领域，尤其涉及深度学习、大数据、云服务等人工智能技术领域。提供了一种神经网络模型中网络层的分配方法、装置、电子设备及可读存储介质。

背景技术

深度学习模型已经在多个领域取得了重大成功，例如计算机视觉、自然语言处理、推荐系统等。为了提高深度学习模型的准确性，具有大量层数、神经元以及参数的神经网络模型，通常需要使用大量的数据进行训练。

随着训练数据规模与模型规模的逐渐增长，神经网络模型训练在单个计算设备上进行训练，可能会花费大量时间而无法满足业务的需求。

因此，分布式训练成为了训练神经网络模型的基础。但是，在分布式训练的基础上，如何对神经网络模型中的网络层分配给合适的计算设备进行训练，对神经网络模型的训练至关重要。

发明内容

根据本公开的第一方面，提供了一种神经网络模型中网络层的分配方法，包括：获取待处理神经网络模型与计算设备集合；根据所述待处理神经网络模型中的网络层与所述计算设备集合中的计算设备，生成目标数量的分配方案，所述分配方案中包含网络层与计算设备之间的对应关系；根据计算设备的设备类型，将各个分配方案中对应相同的设备类型的网络层合并为一个阶段，得到各个分配方案的合并结果；根据各个分配方案的合并结果，得到各个分配方案的适应值；根据所述适应值从各个分配方案中确定目标分配方案，将所述目标分配方案作为所述待处理神经网络模型中网络层的分配结果。

根据本公开的第二方面，提供了一种神经网络模型中网络层的分配装置，包括：获取单元，用于获取待处理神经网络模型与计算设备集合；生成单元，用于根据所述待处理神经网络模型中的网络层与所述计算设备集合中的计算设备，生成目标数量的分配方案，所述分配方案中包含网络层与计算设备之间的对应关系；合并单元，用于根据计算设备的设备类型，将各个分配方案中对应相同的设备类型的网络层合并为一个阶段，得到各个分配方案的合并结果；处理单元，用于根据各个分配方案的合并结果，得到各个分配方案的适应值；分配单元，用于根据所述适应值从各个分配方案中确定目标分配方案，将所述目标分配方案作为所述待处理神经网络模型中网络层的分配结果。

根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

由以上技术方案可以看出，本公开通过合并分配方案中网络层的方式来得到分配方案的适应值，能够提升在得到适应值时的准确性与效率，进而通过所得到的适应值来确定目标分配方案，能够简化在确定目标分配方案时的步骤，提升在确定目标分配方案时的准确性与效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明