[发明专利]基于端到端自适应的分布式训练方法、装置、设备

说明书

本公开提供了基于端到端自适应的分布式训练方法、装置、设备以及存储介质，涉及人工智能技术领域，尤其是深度学习、云计算等领域。具体实现方案为：对待训练的模型进行切分，得到切分结果；对分配给待训练的模型进行训练的计算资源进行解析，得到计算资源的属性，分配给待训练的模型进行训练的计算资源是根据待训练模型的计算资源需求、其他正在训练的模型所占用的计算资源以及空闲的计算资源确定的，计算资源的属性用于表征计算资源的拓扑关系、任务处理能力中的至少一种；利用计算资源的属性，确定每个切分结果在计算资源中的分布策略；根据分布策略，利用计算资源对待训练的模型进行分布式训练。可以实现模型训练的端到端自适应调节。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习、云计算等领域，特别涉及一种基于端到端自适应的分布式训练方法、装置、设备以及存储介质。

背景技术

近年来，为了追求更好的效果，在计算机视觉、自然语言处理、个性化推荐等领域的模型都采用更大规模的模型参数或更大规模的训练数据。从训练框架的使用者角度来说，当前传统的分布式训练技术在易用性、鲁棒性、资源利用率几个维度上面临的问题还比较严峻。例如，常见问题包括自动化程度低、单点故障率高等。

发明内容

本公开提供了一种基于端到端自适应的分布式训练方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种基于端到端自适应的分布式训练方法，该方法可以包括以下过程：

对待训练的模型进行切分，得到切分结果；

对分配给待训练的模型进行训练的计算资源进行解析，得到计算资源的属性，分配给待训练的模型进行训练的计算资源是根据待训练模型的计算资源需求、其他正在训练的模型所占用的计算资源以及空闲的计算资源确定的，计算资源的属性用于表征计算资源的拓扑关系、任务处理能力中的至少一种；

利用计算资源的属性，确定每个切分结果在计算资源中的分布策略；

根据分布策略，利用计算资源对待训练的模型进行分布式训练。

根据本公开的另一方面，提供了一种基于端到端自适应的分布式训练装置，该装置可以包括：

切分模块，用于对待训练的模型进行切分，得到切分结果；

计算资源的属性确定模块，用于对分配给待训练的模型进行训练的计算资源进行解析，得到计算资源的属性，分配给待训练的模型进行训练的计算资源是根据待训练模型的计算资源需求、其他正在训练的模型所占用的计算资源以及空闲的计算资源确定的，计算资源的属性用于表征计算资源的拓扑关系、任务处理能力中的至少一种；

分布策略确定模块，用于利用计算资源的属性，确定每个切分结果在计算资源中的分布策略；

分布式训练模块，用于根据分布策略，利用计算资源对待训练的模型进行分布式训练。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例中的方法。

根据本公开的技术对于待训练模型、计算资源进行自动分析。无需用户端进行其他操作，对于用户端而言，可以简化模型训练的过程。