[发明专利]一种D2D环境下基于深度强化学习的交接卸载方法及装置

说明书

本发明公开了一种D2D环境下基于深度强化学习的交接卸载方法及装置，该方法包括：建立可同时实现用户之间D2D卸载，基站之间任务交接的边缘计算卸载环境并初始化相关环境参数；基于卸载环境，确定卸载动作的构成，建立卸载动作与卸载环境互动的关系；根据卸载动作与卸载环境互动的关系，计算卸载开销，构建强化学习四元组，设置奖励与惩罚项；基于构建的强化学习四元组及奖励与惩罚项，采用深度强化学习算法实现D2D环境下的交接卸载并最小化所有用户时延与能耗的加权和。且针对用户多、基站多、卸载动作难以离散化表示的问题，本发明对深度Q网络进行结构改进，将高维离散动作分解成较低维度的动作组合，极大程度上简化了问题，利于实施。

技术领域

本发明涉及无线网络通信、边缘计算卸载以及强化学习技术领域，特别涉及一种D2D环境下基于深度强化学习的交接卸载方法及装置。

背景技术

近年来，随着云端的功能日益向网络边缘移动以及互联网数据的爆炸式增长，云计算这种计算架构越发难以解决数据处理问题。为了处理爆炸式增长的数据量，移动边缘计算(Mobile Edge Computing，MEC)应运而生。移动边缘计算是指在移动网络边缘部署计算和存储资源，为移动网络提供IT服务环境和云计算能力，从而为用户提供超低时延和高带宽的网络服务解决方案。时至今日，MEC也可引申为“多接入点边缘计算”。在MEC中，计算卸载是一项非常关键的技术。计算卸载是指终端设备将部分或全部计算任务交给云计算环境处理的技术，以解决移动设备在资源存储、计算性能以及能效等方面存在的不足。

端到端(Device to Device，D2D)通信技术是指相邻设备不需要通过基站的中转直接进行通信的技术。它允许邻近终端在基站的控制下互连(如蓝牙，Wi-Fi等)来实现数据通信，从而形成数据通信网络。

由于能够有效应对当下智能设备普及、计算密集型任务暴增的无线通信现状，在D2D环境下进行计算卸载的研究具有十分重要的意义。同时，随着网络结构的日益复杂化和用户需求的提高，需要优化的卸载决策要求越来越复杂，边缘计算卸载优化问题往往会成为一个NP难问题，而传统的边缘计算卸载优化问题采用传统数学优化方法很难解决这类NP难问题。

不仅如此，目前多数对于计算卸载技术的研究集中于优化用户到服务器之间的卸载要求，对D2D环境下的卸载研究较少。当前，对D2D边缘环境的研究集中于边缘缓存，对计算卸载的研究并不多。而目前对于D2D边缘环境下计算卸载的研究多限于使用传统数学优化方法，难以应对多用户情形及NP难问题。

针对D2D环境下传统方法难以处理NP难问题的情形，需要用深度强化学习的方法来解决此种优化问题。一般情况下的卸载任务难以拆分，往往使用离散动作深度强化学习方法来进行优化。对于在D2D环境下且任务交接环境下进行卸载的情形，每个卸载动作都有较多子动作。传统离散深度强化学习方法即深度Q网络往往在处理“0-1”卸载问题上有较好效果，而在每个卸载动作都有较多子动作的复杂环境下，动作的目标是环境中任何一个设备，由此产生的动作维度爆炸式增长。而另一种解决方式是将离散动作连续化，这样解决了维度问题，但是带来了优化结果的不准确问题，同时由于有的任务本身即完全不可分割，这种优化方式偏离了卸载的本意。因此，需要从整个深度强化学习的网络结构、动作选择、属性设置上对已有方法进行改进。

发明内容

本发明提供了一种D2D环境下基于深度强化学习的交接卸载方法及装置，以解决在多基站多用户的环境中，任务卸载的总动作数目随用户数量增加呈几何式增长，而由于用户数量多导致可能存在基站挤兑的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种D2D环境下基于深度强化学习的交接卸载方法，所述D2D环境下基于深度强化学习的交接卸载方法包括：

建立可同时实现用户之间D2D卸载，基站之间任务交接的边缘计算卸载环境，并初始化用户和基站的随机位置关系，建立用户到用户，以及基站到基站的信道状态关系，并确定D2D卸载与基站交接卸载机制；