[发明专利]基于经验共享深度强化学习的无服务器边缘任务卸载方法

说明书

本发明公开了一种基于经验共享深度强化学习的无服务器边缘任务卸载方法；所述方法包括：对任务卸载性能优化问题进行建模，通过基于经验共享深度强化学习生成无服务器边缘任务卸载方法；本发明首先将在各个无服务器边缘计算环境下的任务卸载优化问题建模为马尔可夫决策过程，并采用改进的演员评判家Actor‑Critic框架的深度强化学习求解；然后，各环境通过位于云中心的回放缓存共享经验数据，以提高数据的多样性、样本效率，降低探索成本；最后引入了一种基于种群指导的策略搜索方法，加速深度强化学习(Deep Reinforcement Learning，DRL)智能体收敛且具有更低的探索成本。

技术领域

本发明属于计算机技术领域，更具体地，涉及一种基于经验共享深度强化学习的无服务器边缘任务卸载方法。

背景技术

随着无服务器边缘计算的智能IoT应用和其数据的增加，资源匮乏的IoT(Internet of Things，物联网)设备难以保障延迟敏感的任务性能。由于在IoT设备和云服务器之间的低带宽和高通信延迟，通过将任务卸载到云的传统云卸载方法无法满足延迟敏感的IoT应用的性能需求。边缘计算作为解决上述问题的可行方案之一，采用任务卸载技术，IoT设备可将计算任务卸载至边缘执行，缩短任务响应延迟和避免网络拥塞，并且满足安全、隐私、应用智能等多方面需求。为优化边缘计算性能和方便事件驱动的边缘智能IoT应用的开发与部署，无服务器计算从云计算扩展到边缘计算，产生无服务器边缘计算。一些云服务提供商也为边缘IoT环境边缘服务器中提供了函数执行的边缘FaaS平台(EdgeFaaS，简称EFaaS；FaaS为Function as a Service，即“函数即服务”)，吸引了IoT服务、流处理、AI推理预测等各个领域的广泛应用。

由于无服务器边缘计算系统资源受限，当所有IoT设备的任务请求卸载到EFaaS后，可能会导致EFaaS工作负载过高，从而发生任务堆积和资源争用，导致任务延迟升高，甚至任务失败。因此，需将部分任务请求在IoT设备执行，部分卸载至EFaaS执行，从而保证边缘系统资源的使用效率和整体系统性能。然而，以优化性能为目标，对IoT设备的任务请求生成高效的卸载策略，仍是边缘计算中极具挑战的问题之一。为解决上述问题，现有许多基于遗传算法或博弈论算法等传统启发式优化研究工作取得了一些成果，但这些优化算法需要大量迭代，且仅考虑一次性优化，难以适应动态变化的无服务器边缘计算环境。并且在边缘计算中，现有基于深度强化学习(Deep Reinforcement Learning，DRL)的任务卸载优化研究工作还存在挑战。首先，一个高性能的DRL智能体训练需要大量且多样性的数据。现有大部分研究在单个环境中进行交互试错获取数据，这种方式具有数据多样性不足和获取足够的数据花费大量时间。然后，DRL智能体的训练具有非常大的试错、探索成本，单个环境无法承受。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于经验共享深度强化学习的无服务器边缘任务卸载方法，提出了一种基于经验共享深度强化学习的分布式任务卸载方法(Experience-Sharing Deep Reinforcement Learning based distributedtask offloading method，ES-DRL)。首先，将在各个无服务器边缘计算环境下的任务卸载优化问题建模为马尔可夫决策过程，并采用改进的Actor-Critic框架的深度强化学习求解。然后，各环境通过位于云中心的回放缓存共享经验数据，以提高数据的多样性、样本效率，降低探索成本。最后，为了加速DRL智能体收敛，引入一种基于种群指导的策略搜索方法。

为实现上述目的，本发明提供一种基于经验共享深度强化学习的无服务器边缘任务卸载方法，包括如下步骤：