[发明专利]分布式模型训练方法、系统及相关装置

说明书

本申请提供分布式模型训练方法、系统及相关装置中，该系统部署包括管理设备以及多个终端设备且部署有DDPG模型；DDPG模型包括Critic网络以及Actor网络，Actor网络包括第一在线网络以及第二在线网络，每个终端设备部署有第一在线网络，管理设备部署有Critic网络以及第二在线网络；而用于训练第二在线网络的策略样本采集自经验池，由各终端设备通过自身部署的第一在线网络生成，因此，策略样本的状态空间仅涉及单个终端设备，因此，该方法不仅能够避免采集全局状态所需要的耗时，而且还能降低状态空间的维度。

技术领域

本申请涉及控制领域，具体而言，涉及一种分布式模型训练方法、系统及相关装置。

背景技术

在基于边缘计算的任务卸载场景中，为了提高服务质量，需要根据各边缘设备的状态，制定任务卸载策略。该任务卸载策略用于将边缘设备中的终端任务进行重新分配。例如，将终端任务在边缘设备本地执行或者卸载至云端的服务器执行。

现有的研究与发明大多是完全集中式的调度方法。即需要获取全部边缘设备的全局状态信息之后，基于该全局状态信息对所有边缘设备的终端任务进行统一调度。然而，发明人研究发现，随着边缘设备的增加，集中式调度方法难以在同一个时间内收集所需的全局信息，并在有限的时间内制定任务卸载策略，极大的影响了算法的收敛效率。

发明内容

为了克服现有技术中的至少一个不足，本申请实施例提供一种分布式模型训练方法、系统及相关装置，包括：

第一方面，本实施例提供一种分布式模型训练方法，应用于部署有DDPG（DeepDeterministic Policy Gradient，深度确定性策略梯度）模型的决策系统，所述决策系统包括管理设备以及多个终端设备，所述DDPG模型包括Critic网络以及Actor网络，所述Actor网络包括第一在线网络以及第二在线网络，每个所述终端设备部署有所述第一在线网络，所述管理设备部署有所述Critic网络以及所述第二在线网络，所述方法包括：

执行至少一次模型训练流程，直到所述DDPG模型满足预设收敛条件；

所述模型训练流程，包括：

针对每个所述终端设备，所述终端设备根据自身的第一设备状态，通过所述第一在线网络生成与所述第一设备状态相对应的动作；

所述终端设备将所述第一设备状态对应的策略经验存放至经验池，其中，所述策略经验包括所述第一设备状态、所述动作、执行所述动作后的第二设备状态以及所述动作的即时奖励；

所述管理设备对所述经验池进行采样，获得策略样本；

所述管理设备根据所述策略样本，通过所述Critic网络调整所述第二在线网络的模型参数；

当满足预设同步条件，则所述管理设备将调整后的第二在线网络同步至每个所述第一在线网络，以使每个同步后的第一在线网络与所述调整后的第二在线网络具有相同的参数。

第二方面，本实施例提供一种决策系统，所述决策系统部署有DDPG模型，所述决策系统包括管理设备以及多个终端设备，所述DDPG模型包括Critic网络以及Actor网络，所述Actor网络包括第一在线网络以及第二在线网络，每个所述终端设备部署有所述第一在线网络，所述管理设备部署有所述Critic网络以及所述第二在线网络；

执行至少一次模型训练流程，直到所述DDPG模型满足预设收敛条件；

所述模型训练流程，包括：

针对每个所述终端设备，所述终端设备用于根据自身的第一设备状态，通过所述第一在线网络生成与所述第一设备状态相对应的动作；

所述终端设备用于将所述第一设备状态对应的策略经验存放至经验池，其中，所述策略经验包括所述第一设备状态、所述动作、执行所述动作后的第二设备状态以及所述动作的即时奖励；