[发明专利]一种基于深度强化学习的多智能设备任务卸载决策方法

说明书

本发明公开了一种基于深度强化学习的多智能设备任务卸载决策方法，用于解决物联网环境下具有多个智能终端设备的云边端融合网络中混合任务卸载和资源分配问题，该方法以数据传输速率作为性能评价指标。首先，获取该环境中每个智能终端设备以及环境的配置信息，然后建立以最大数据传输速率为目标的多智能终端设备卸载模型，最后基于深度强化学习方法求解最优任务卸载方案，再依据总体最优卸载方案进行任务卸载。本发明能够有效解决多接入边缘计算(MEC)网络中多智能设备混合任务卸载和资源分配的问题。

技术领域

本发明涉及一种基于深度强化学习的多智能设备任务卸载决策方法，属于物联网与人工智能技术领域。

背景技术

随着通用智能终端和泛在网络技术的普及，传统的集中式云计算模型在满足新型延迟敏感、计算密集型网络应用和服务急剧增长的不同需求方面出现了一些欠缺。近年来，广泛分布和地理分布的移动设备和物联网设备，取代了传统的大型云数据中心，创造了越来越多的数据；因此，以集中计算和存储为基本特性的云计算模型难以满足多种技术和应用场景的需求。与网络扩展和优化相比，数据卸载是一种减少网络拥塞的有效策略，可显著有效地解决过载问题。因此多接入边缘计算(MEC)作为一种新的计算范式，被提出用于缓解由于计算任务直接从资源有限的移动终端转移到云计算中心而导致的网络拥塞，被认为是5G异构网络的一种前景广阔的技术。此外，MEC通过提供边缘存储和计算资源，为移动终端用户减少延迟，提供更快的响应，从而提高了用户体验(QoE)的质量。

由于MEC的优势，学术界和工业界对MEC的兴趣日益浓厚。然而，在实际的MEC系统中，由于卸载高度依赖于无线数据传输的效率，且其影响因素是多维的、随机的、时变的，因此MEC系统必须同时管理无线资源和计算资源。因此，传统的方法，如博弈论和最优化理论，在解决复杂场景下的计算卸载优化问题时遇到了障碍和限制。值得庆幸的是，深度强化学习(deep reinforcement learning,DRL)可有效地解决MEC中上述问题，它是一种新兴且有效的实现长期回报最大化和获得最优决策策略的方法。在以往的MEC研究中，特别是在大型MEC网络中，资源分配和卸载计算问题通常表示为混合整数规划(MIP)问题，该问题通过引入动态规划或分支定界算法来解决。不幸的是，这两种方法的计算复杂度特别高。虽然启发式局部搜索和凸松弛可减少计算复杂度，但都需要多次迭代才能达到预期的局部最优。因此，与这些传统算法相比，DRL作为一种能够使移动设备和移动边缘服务器在资源分配问题上做出自适应、有效决策的新方法已被广泛认可。然而，现有的大部分工作都集中在静态MEC单用户计算优化上。此外，在强化学习算法中，每个智能终端都在不断地学习和改进自己的策略。然后，从每个智能终端的角度来看，环境是不稳定的，不利于收敛。Deep Q-networks(DQN)等传统深度强化学习应用在多智能设备动态环境中存在以下缺点:1)由于环境不稳定，不可能直接使用经验重放技术DQN和DDQN。2)由于许多智能终端的交互将导致不可避免的反馈开销，MDP的使用将遭受维度诅咒。3)由于环境的不稳定性，仅仅改变智能终端自身的政策是不可能适应动态的、不稳定的环境的。因此，在动态MEC环境中实现多用户计算优化仍然是一个严重的问题。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提出了一种基于深度强化学习的多智能设备任务卸载决策方法，解决了在动态MEC环境中多用户任务计算卸载和资源分配优化问题。

技术方案：本发明所述的一种基于深度强化学习的多智能设备任务卸载决策方法，包括如下步骤：

步骤1：获取该环境中每个智能终端设备以及环境的配置信息，根据实际环境中每个智能终端的情况，收集他们的配置信息，以进行后续的建模；

步骤2：建立以最大数据传输速率为目标的多智能终端设备卸载模型，当任务足够小时，用户可选择本地计算；当用户距离基站较近时，可将任务卸载到基站进行计算；当用户距离基站较远时，该模型可将移动终端的任务转移到距离基站较近的邻近设备,相邻的设备可基于任务数据的数量做二次决定:如果任务量小,设备可使用自己闲置的计算资源进行计算,如果任务量大,设备将卸载任务到附近的基站服务器网络进行计算。