[发明专利]深度学习分布式训练适配方法和装置

说明书

本申请公开了一种深度学习分布式训练适配方法，包括：对深度学习算法的原始代码块进行语义分析，得到原始代码块对应的分布式训练的功能类别；根据所述原始代码块对应的分布式训练的功能类别和预设的正则库，对所述原始代码块进行正则匹配，得到分布式框架代码的模板文件；对所述布式框架代码的模板文件进行渲染，得到最终的深度学习分布式训练代码。采用上述方法，以解决现有技术的深度学习分布式训练适配方法存在效率低的问题。

技术领域

本申请涉及计算机技术领域，具体涉及一种深度学习分布式训练适配方法，本申请还涉及一种深度学习分布式训练适配装置和一种存储介质。

背景技术

在人工智能领域，深度学习的实际场景落地的成熟算法往往需要更多的算力进行支撑，而单机内部的资源毕竟有限，无法承载大规模的AI(Artificial intelligence，人工智能)训练任务。不论是数据并行、模型并行、还是混合并行的训练方式，往往都需要大量的计算资源进行并行训练，也就迫切需要分布式的训练模式。

分布式训练需要从硬件集群、到软件设计的一整套设计流程都要精通，否则也是无法实现正确的代码一致性和预期的训练加速性能，而人工智能的大量算法专家大都专注于AI算法本身的模型优化，而对于分布式训练的优化可能并不专业。目前，一些深度学习分布式框架，能够满足AI算法专家的这一需求，达到很好的训练性能优化，屏蔽大量的底层硬件、通信、集群等调优技术，向上支持深度学习训练框架，且基本的上层python接口是相似的。

诚然，由于这些分布式框架本身也是一个代码库，对于原始的比如单机单卡、单机多卡的代码并不能直接适配，需要进行定制化的修改，这对于AI算法专家来讲，带来了软件层次上的挑战，可能需要花费很多时间进行修改，而且容易出现错误或精度不等价等问题；另外一方面，即便是对分布式框架很熟悉的开发人员，也需要大量精力去阅读客户的代码，从而再去相应的做代码适配工作，这个过程随着用户的代码量增加而成本增长，总之适配分布式训练的工作是一种极其低效的支持方式。

因此，现有技术下的深度学习分布式训练适配方法存在效率低的问题。

发明内容

本申请提供一种深度学习分布式训练适配方法、装置，以解决现有技术的深度学习分布式训练适配方法存在效率低的问题。

本申请提供一种深度学习分布式训练适配方法，包括：

对深度学习算法的原始代码块进行语义分析，得到原始代码块对应的分布式训练的功能类别；

根据所述原始代码块对应的分布式训练的功能类别和预设的正则库，对所述原始代码块进行正则匹配，得到分布式框架代码的模板文件；

对所述布式框架代码的模板文件进行渲染，得到最终的深度学习分布式训练代码。

作为一种实施方式，还包括：

根据深度学习算法的原始代码块，得到所述原始代码块对应的分布式框架；

所述对深度学习算法的原始代码块进行语义分析，得到原始代码块对应的分布式训练的功能类别，包括：

将所述原始代码块对应的分布式框架作为语义识别模型的一个特征，对深度学习算法的原始代码块进行语义分析，得到原始代码块对应的分布式训练的功能类别。

作为一种实施方式，所述对深度学习算法的原始代码块进行语义分析，得到原始代码块对应的分布式训练的功能类别，包括：

对深度学习算法的原始代码块进行向量化处理，得到深度学习算法的原始代码块的向量化表示；

将所述向量化表示输入用于功能分类的分类模型，得到原始代码块对应的分布式训练的功能类别。

作为一种实施方式，所述对深度学习算法的原始代码块进行向量化处理，得到深度学习算法的原始代码块的向量化表示，包括：