[发明专利]一种基于双延迟深度确定性策略梯度的智能计算迁移方法

说明书

一种基于双延迟深度确定性策略梯度的智能计算迁移方法，基于迁移决策、带宽资源分配及传输功率调节的联合考量，构建了一个最小化所有计算任务总能耗的优化问题，能够综合考虑差异化最大容忍延迟和终端电压动态可调，进一步提升系统节能效果，更加贴合动态变化的复杂网络场景；基于Actor‑Critic架构，引入连续变量离散化运算，从而求得计算迁移决策这一离散动作集合，保障变量生成的随机性，达到良好的覆盖面。同时，构造了两个初始化参数相异的Critic网络，分别对输入动作进行评估，以更好地生成全局最优计算迁移策略；融合了伯努利分布的思想，引入随机二元组，能够克服连续‑离散动作空间输出受限的问题，并保障策略网络对离散动作探索的随机性。

技术领域

本发明涉及计算迁移领域，尤其涉及一种基于双延迟深度确定性策略梯度的智能计算迁移方法。

背景技术

为了更好地响应大规模物联网设备的服务请求，弥补云计算模式的缺陷，雾计算的概念应运而生。受限于单一雾节点的任务负载压力较大，融合计算迁移思想的雾计算模式成为了新的研究焦点。进一步地，出于对多节点协同处理效率及用户低成本开销的联合考量，如何依据边缘侧资源分布动态调整迁移策略，并高效分配用户接入节点、无线信道带宽资源、设备发射功率、内外部计算资源等，成为了亟待解决的关键问题。

目前，针对这类问题的研究，大致可分为以下三类：

第一类研究方案利用牛顿迭代法、拉格朗日乘子法及遗传算法等近似算法或启发式算法来优化计算迁移决策与资源分配。虽然上述方法能够取得稳定收敛解，但是整体的收敛速度较慢，难以快速生成复杂动态网络场景下的自适应迁移决策。

第二类研究方案基于深度学习理论，构造了智能化的计算迁移方案，以满足用户对时延敏感型决策输出的需求。虽然这类方法可以适应复杂多变的迁移场景，但实际决策效果受样本数据影响较大。为保障模型的泛化能力，通常需要大规模的高质量标签样本，所带来的人工成本是难以承受的。

第三类研究方案基于深度强化学习理论，虽然基于深度Q学习网络的方案可以适应时变的网络场景，但不利于输出连续的动作空间。此外还有使用基于策略梯度的深度强化学习方法和利用基于异步优势行动者(Actor)-评论家(Critic)的迁移策略算法，虽然上述方法可以生成连续的动作空间，但是这类方法仍然存在以下两个严峻挑战：其一，存在着Q值过估计的现象，累计误差较大，极易影响Actor网络的更新，并生成次优策略，引发不良的反馈循环；其二，不能很好地解决连续-离散动作空间上的优化问题。

发明内容

本发明旨在提供一种融合资源分配的高效智能计算迁移方法来克服连续-离散动作空间输出受限的问题，并保障策略网络对离散动作探索的随机性，从而更好地生成全局最优计算迁移策略，进一步提升系统节能效果。

一种基于双延迟深度确定性策略梯度的智能计算迁移方法，包括如下步骤：

步骤1，构建由用户层和服务层组成的多用户计算迁移模型，计算得到用户层产生的计算任务总能耗；

步骤2，基于迁移决策、带宽资源分配及传输功率调节的联合考量，构建一个最小化所有计算任务总能耗的优化问题；

步骤3，构造包含两个独立评价网络的模型架构，并引入连续变量离散化运算，以提升策略探索的随机性，从而更好地生成全局最优计算迁移策略。

进一步地，步骤1中，用户层由用户设备构成，服务层部署有多个雾节点组成的雾节点集和一个控制器。