[发明专利]基于深度强化学习的静态环境下的最大化全局吞吐量方法

说明书

本发明设计了一种最大化全局吞吐量方法，实现了在移动边缘计算架构中将无人机当作移动边缘计算服务器为终端静止用户提供及时有效的计算服务。随着现代科技技术日新月异，来自终端用户的任务越来越多，传统的移动边缘计算框架已无法为用户提供及时有效的计算服务，因此考虑将无人机当作移动计算服务器，在用户的上方为其提供服务，从而实现高效的交互服务。本发明考虑到用户移动较慢，将其近似看成静止不动的，通过对用户状态和无人机状态以及无人机与用户之间的信道状态进行建模，结合深度强化学习算法最大化全局吞吐量。

技术领域

本发明涉及通信行业的移动边缘计算领域，以及计算机行业的基于神经网络的深度强化学习算法领域。

背景技术

通信领域关注的是通信过程中的信息传输和信号处理的原理和应用，尤其是数字移动通信、光纤通信、Internet网络通信使人们在传递信息和获得信息方面达到了前所未有的便捷程度。随着3G、4G等通信技术的高速发展，移动边缘技术(Mobile EdgeComputing,MEC)应运而生为用户提供高质量服务，其坐落于网络系统边缘区域，可利用无线接入网络就近提供电信用户IT所需服务和云端计算功能，而创造出一个具备高性能、低延迟与高带宽的电信级服务环境，加速网络中各项内容、服务及应用的快速下载，让终端用户享有不间断的高质量网络体验。再随着智能通信设备的指数级增长，来自终端用户的数据服务请求越来越多，传统的移动边缘计算服务无法为终端用户提供及时有效的计算服务，基于无人机的移动边缘计算框架的通信系统渐渐引人注目。

无人驾驶飞机简称“无人机”(Unmanned Aerial Vehicle,UAV)，可利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。移动边缘技术一直致力于移动边缘服务器，能够在敌对环境中提供更加灵活和成本更高的计算服务。无人机作为移动云层设备，由于其具有廉价的基础设施以及高可靠连通性，可在移动边缘技术中广泛应用，所以基于无人机的移动边缘技术架构比现有的传统通信系统更方便部署于灾难或偏远区域，也能为用户提供更好的通信服务。

本发明将对基于终端用户公平性约束和无人机能量约束的无人机协助的移动边缘计算架构的的最大化全局吞吐量方法进行说明。

发明内容

发明目的：考虑终端用户公平性约束和无人机能量约束两种限制条件，为提高用户公平性和系统用户迁移量，本发明设计了一种基于深度强化学习的最大化全局吞吐量方法。

技术方案：本发明提出的最大化全局吞吐量方法，主要包括以下几个阶段。

第一阶段：初始化用户位置，以及无人机在空中的固定盘旋点

本发明的系统模型中包含N个随机分布的用户，则用户的位置状态为l_i(t)＝(x_i,y_i),i∈{1,2,...,N}，以及M个空中固定点，对应代表无人机的位置状态，d_j(t)＝(x_j,y_j),j∈{1,2,...,M}。

第二阶段：建立无人机能耗模型

无人机在服务期间存在三种能量消耗：飞行能耗、盘旋能耗和计算能耗

·无人机飞行能耗：考虑无人机固定飞行速度V以及飞行功率P_f，无人机在t时刻的飞行能耗与无人机每个时隙的飞行距离密切相关。

·无人机盘旋能耗：当无人机飞到当前时刻的固定点为终端用户提供计算服务时，需等待用户将当前任务量μ_i(t)全部传输到无人机上，考虑当前无人机与用户之前的信道为LoS信道，无人机飞行高度H，信道增益为

则传输速率为

所以无人机的盘旋能耗为