[发明专利]基于深度强化学习的无人机智能反射面安全传输方法

说明书

本发明涉及一种基于深度强化学习的无人机智能反射面通信网络安全传输方法，属于无线通信技术领域。对于无人机与地面节点之间的下行链路，引入智能反射面进一步加强传输的安全性。通过联合优化无人机的轨迹和波束形成向量以及智能反射面的相移矩阵来最大限度地提升该通信网络的平均保密速率。该优化问题是典型的非凸问题，难以用传统的优化方法进行求解，因而我们引入深度强化学习的方法对其进行求解。本发明考虑了无人机通信中的安全问题，通过网络参数的合理优化显著地提高了通信网络的安全性能。

技术领域

本发明属于无线通信技术领域，具体涉及一种基于深度强化学习的无人机智能反射面通信网络面向安全传输的参数优化方法。

背景技术

第五代(the fifth-Generation,5G)通信网络对覆盖率和传输速率提出了更高的要求，无人机(Unmanned Aerial Vehicle,UAV)能够利用其强移动性为地面节点提供无处不在的可靠连接，而智能反射面(Reconfigurable Intelligence Surface,IRS)因其有效重构电磁波传播环境的能力也受到越来越广泛的关注，被认为是下一代通信网络中极具潜力的技术。UAV与IRS的结合能够为通信网络带来更高的容量和能量效率。此外，空地信道的强视距(Line-of-Sight,LoS)链路属性与IRS的三维波束形成能力还能够补偿毫米波传输的严重路径损耗，并缓解其敏感的堵塞效应。

然而，尽管UAV和IRS为通信网络带来了诸多优势，由于无线信道的广播特性，通信网络中的安全威胁成为亟待解决的问题。物理层安全技术利用通信媒介的随机性和互易性，通过信号处理、调制和编码的方法实现安全传输的目的，是上层基于密码学加密技术的有力补充。在UAV通信网络中应用物理层安全技术能够在保密传输与能量效率之间寻求最佳折中，这也与IRS的特点即无需额外的能量相统一。加强IRS辅助的UAV毫米波通信网络的物理层安全性能，关键在于UAV的波束形成向量与轨迹、IRS的相移矩阵的联合优化。传统方法一般是将这三个变量进行解耦然后分别优化，同时IRS相移矩阵的优化往往还需要半定松弛(Semidefinite Relaxation,SDR)、极大极小化(Minorization Maximization,MM)等近似，在解的精确性和算法复杂度方面难以满足现代通信网络高保密性和实时性的要求。因此，发明一种能够快速并有效优化通信网络参数以加强物理层安全性能的安全传输方法迫在眉睫。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于深度强化学习的无人机智能反射面安全传输方法。

技术方案

一种基于深度强化学习的无人机智能反射面安全传输方法，其特征在于步骤如下：

步骤1：假设UAV作为空中基站向地面的合法通信节点传输毫米波，同时地面还存在一个恶意的窃听者对保密链路进行窃听；其中，UAV装备多天线，地面节点均装备单天线；为了加强通信网络的安全性能，进一步在网络中部署一个智能发射面，通过其相位的灵活调控最大化保密信道与窃听信道之间的性能差异；当无人机执行其任务即为地面合法接收者提供服务时，将在一定时间段T内于固定高度飞行，为了提高通信网络的安全性能，需要对UAV的波束形成向量和轨迹、IRS的相移矩阵进行联合优化；

步骤2：由于连续的时间将使得优化难以进行，首先将飞行时间T进行离散化即T＝NΔ_t，其中N为总时隙数，Δ_t为单个时隙的长度；这样，通信网络的安全性能增强问题就被归结为合法接收者的平均保密速率最大化问题，优化变量包括每个时隙n时的UAV的波束形成向量、位置以及IRS的相移矩阵；然而即使对时间进行了离散化，该最优化问题仍然是非凸的而难以直接进行求解；