[发明专利]基于元强化学习的缓存辅助任务协作卸载与资源分配方法

说明书

本发明公开了一种基于元强化学习的缓存辅助任务协作卸载与资源分配方法，包括在移动协作式应用场景下建立缓存辅助的任务协作卸载与资源分配模型，获取请求任务的缓存状态，获得学习模型，求解卸载决策的步骤，来降低移动协作应用程序场景下计算卸载过程中移动用户的能耗和时延。本发明综合考虑用户偏好和能耗与时延的权衡，以及任务的缓存状态对卸载决策的影响，提出缓存辅助策略，在平衡网络开销的同时提高任务缓存命中率，并依此确定任务的缓存状态，最后基于元强化学习提出一种在线计算卸载策略，解决传统深度强化学习算法对新任务的采样效率低的问题，实验结果证明与其他算法相比本发明可有效降低移动用户时延和能耗，提升用户体验质量。

技术领域

本发明涉及边缘计算技术和强化学习技术领域，尤其涉及一种基于元强化学习的缓存辅助任务协作卸载与资源分配方法。

背景技术

随着物联网和边缘计算技术的发展和广泛应用，各种各样的移动设备带来了众多复杂且计算密集的移动应用程序的激增，更多的新型应用的涌现对用户体验质量(QoE)提出更高要求，而资源有限的移动设备面临着电量、容量与计算能力的诸多限制难以处理。物联网用户更趋向于将大量的数据流的内容块卸载执行，但由于计算卸载的某些限制，尤其是在资源有限的动态边缘环境中，现有服务提供商提供的计算卸载服务无法满足新型物联网应用用户的QoE需求，例如数据流由于特定时间或流量到达峰值时，回程链路将面临巨大的信噪比(SINR)和严重的拥塞。

对于移动协作式应用程序，例如移动视频会议、协作编辑、增强现实(AR)等，不同用户存在重复多次的内容请求，移动设备与边缘服务器之间仍然存在很多不必要的计算和传输成本。现有的研究中大多独立考虑了计算任务和缓存内容，忽略了任务缓存对任务卸载决策的影响，且没有考虑边缘计算环境的多样性与动态性，在移动协作式应用的多样化业务场景的保障QoE的应对策略和处理方案方面缺乏深入的研究和探索。

例如，公开号为CN111405569A的基于深度强化学习的计算卸载和资源分配方法及装置，该方案基于用户设备的计算任务参数、性能参数、用户设备与接入点之间的信道参数和移动边缘计算边缘服务器的总计算资源，构建优化问题模型；基于深度强化学习确定优化问题模型的最优解，确定用户设备的卸载决策，分别给用户设备所分配的计算资源的百分比数和频谱资源的百分比数。同时考虑到时变的边缘计算系统中实际的计算卸载和资源分配特性，任务的时延阈值与系统有限的资源容量约束，基于深度强化学习，利用深度神经网络来有效地逼近强化学习中的值函数，以确定计算卸载和资源分配的联合最优方案，进一步降低了用户设备的能耗。但由于不同的网络环境、不同的用户偏好和多样化的应用程序对应不同的卸载任务，该方案采用的深度强化学习方法存在新任务的采样效率低、难以快速适应新任务寻找最佳卸载策略的问题。

再如，公开号为CN110213097A的基于资源动态分配的边缘服务供应优化方法，该方案针对边缘计算框架中的服务供应优化提出了用户体验质量的量化策略，并提出了动态的资源分配策略方案，为利用服务分布式特性的边缘计算服务提供优化方案提供了新的可行可靠的方法。该发明在考虑用户与边缘服务器的交互信息的基础上，还综合考虑了边缘服务器资源与服务处理能力之间的资源性能关系，服务请求的时序关系，并利用这些信息对边缘府服务器运行时动态调整策略提供了辅助，能够较好的利用边缘计算组件的资源，为服务使用者提供高质量的用户体验。但由于其单独考虑用户卸载策略，在移动协作式应用场景中的重复计算仍存在大量开销，在单个边缘服务器处理能力有限时易造成负载过高，用户体验仍然无法保障。

发明内容

本发明针对上述技术问题，提供一种基于元强化学习的缓存辅助任务协作卸载与资源分配方法，能够在移动协作式应用场景中，将多个有依赖关系的计算任务合理的分配到移动终端本地和多个边缘服务器中协作执行，同时对可能的重复计算请求任务进行缓存，进一步降低移动终端处理计算任务的时延和能耗。

为了实现上述目的，本发明提供如下技术方案：

本发明首先提供一种基于元强化学习的缓存辅助任务协作卸载与资源分配方法，包括以下四个步骤：