[发明专利]一种跨域协同训练任务计算效率仿真方法及相关设备

说明书

本发明公开了一种跨域协同训练任务计算效率仿真方法及相关设备，所述计算效率仿真方法包括：输入跨域协同训练模型及相关参数；根据所述跨域协同训练模型及所述相关参数初始化跨域协同训练中五种类型计算阶段的仿真模型；根据所述相关参数中的跨域协同训练轮数，计算每个协同训练周期内不同阶段计算任务的时间点；根据所有协同训练周期内的时间点统计出跨域协同训练任务的计算效率指标。通过建立跨域协同训练中五种类型计算阶段的仿真模型后，计算所有协同训练周期内所有协同训练周期内的时间点，再统计出跨域协同训练任务的计算效率指标，从而实现了快捷计算跨域协同训练任务的仿真效率，提高了计算效率仿真的准确性。

技术领域

本发明涉及模拟仿真技术领域，特别涉及一种跨域协同训练任务计算效率仿真方法及相关设备。

背景技术

近年来，智算中心作为新型基础设施的重要组成部分，已成为数字经济发展的智能基座，将加速推动智能技术与传统产业深度融合，打造具有竞争力的数字产业集群，对产业数字化、智能化转型意义重大。智算中心是提供从底层芯片算力释放到顶层应用使能的人工智能全栈能力，可用于各行业人工智能深度学习模型开发、训练和推理等应用场景。在我国，随着人工智能技术和应用的快速发展，智算中心已纳入全国各大城市的重点布局和规划中。

而智算网络则可以将各地分布的智算中心节点联接起来，构成多个智算中心间感知、分配、调度算力、存储、数据及模型等资源的网络，是智算中心进一步发展的重要方向，将有助于推动构建区域范围乃至全国范围的人工智能产研生态。协同计算则需通过智算网络基础设施使能数据、算力、模型、网络和服务，完成在市场上安全、合规、自由的资源流通共享，进而实现全新计算范式和业务场景，如大模型跨域协同训练、多方模型聚合、联邦学习等。其中，智算网络中一种十分重要的计算任务之一就是跨地域多个人工智能中心参与的跨域协同训练任务，也是联邦学习模式的一种典型实现场景。因此如何在启动计算任务之前，对计算任务在不同规模硬件、网络等资源条件下的计算效率进行准确的评估，有利于用户提前分析和预判计算任务所需资源及实际效率，减少不必要的资源浪费。

目前对于本地训练成本建模方面，研究者提出了多种方法来实现深度学习模型cost-model评估，其中FlexFlow(FlexFlow是一种使用运算符图G来描述DNN中所有运算以及状态的深度学习框架)、RaNNC(RaNNC是一种神经网络的流水线并行方案搜索方法)等工作都进行了简单的cost-model建模工作，其基本思路是根据本地训练的深度学习模型计算图，分别统计计算图中每个算子的执行时间，从而完成整个本地训练过程的计算效率建模。

但是，这些方法都是针对本地集群中的分布式计算任务而提出的，不能直接应用到跨人工智能中心的协同训练任务中。此外Flower(Flower是一种用于构建联邦学习系统的框架，它具有可定制化、可扩展性好、适配多种机器学习框架、易理解与维护等特点)实现了一种能够适配多种AI框架的联邦学习框架，并且提供了小模型、大量参与者条件下的联邦学习仿真功能，该方法基于分布式计算框架Ray实现了大量参与者条件下的联邦学习仿真，但是其仿真的目的是仿真联邦学习模型的准确性，而非计算任务的效率。当需要对跨域协同训练任务的计算效率进行仿真评估时，该方法不再适用。

因而现有技术还有待改进和提高。

发明内容

本发明的主要目的在于提供一种跨域协同训练任务计算效率仿真方法及相关设备，旨在解决现有技术中在跨域协同训练任务时，无法计算效率进行仿真评估的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种跨域协同训练任务计算效率仿真方法，所述跨域协同训练任务计算效率仿真方法包括以下步骤：

输入跨域协同训练模型及相关参数；

根据所述跨域协同训练模型及所述相关参数初始化跨域协同训练中五种类型计算阶段的仿真模型；