[发明专利]一种基于深度强化学习的无人机辅助智能反射表面主被动传输优化方法

说明书

本发明公开了一种基于深度强化学习的无人机(UAV)辅助智能反射表面(IRS)主被动传输优化方法。在UAV‑IRS的主被动传输系统中，UAV与IRS集成于一体以提高IRS的部署灵活性，利用UAV帮助IRS将主动信号反射到基站，同时IRS为近端UAV提供额外的信息位，并提高系统的频谱效率。首先，对IRS采用广义正交反射调制，以提高被动信息的传输可靠性，同时IRS全反射可最大化主动信号接收信号信噪比。然后，通过联合优化无人机飞行轨迹、IRS对物联网(Internet of Things,IoT)设备调度，以最大化成功传输比特数和最小化UAV能量损耗为目标函数。本发明使用DRL的深度Q网络算法来求解次优解，与基准解决方案相比，基于IRS的广义正交反射调制方案和基于DRL优化的方法可以有效地提高UAV‑RIS系统的能效性能。

技术领域

本发明涉及通信技术领域，尤其涉及IRS通信系统、物联网的主被动传输、索引调制、人工智能，结合深度强化学习的方法对无人机运动轨迹进行优化，以辅助IRS在物联网系统中反射主动信号的同时为无人机传输被动信号，提高系统频谱效率和主被动信号的误码率性能。具体地说是一种基于深度强化学习的无人机辅助智能反射表面主被动传输优化方法。

背景技术

在未来无线通信系统的发展中，既需要满足移动智能终端不断普及和数据量的快速增长的现状，还需要适应大规模物联网(Internet of Things，IoT)的发展方向。第六代移动通信(the Sixth Generation,6G)将极大地增强物联网通信，以实现“万物互联”和空天地通信一体化的景愿。然而，无线电频谱的稀缺，特别是6GHz以下的成为无线网络发展的关键瓶颈，同时低功耗的要求也给系统设计带来了巨大的挑战。因此，迫切需要革命性的技术来提供高频谱效率和高能效的解决方案。

近年来，智能反射表面(Intelligent Reflecting Surface，IRS)作为一个新的概念浮出水面，IRS由大量低成本、低功耗、近乎无源的反射单元构成，它以特定的反射系数对入射信号进行反射并改变入射信号的幅度、相位等达到控制无线网络环境的目的，信息比特可以被映射为反射单元索引隐形地传递消息，IRS开发了数据传输的新维度及新思路。有一些新的研究开始将IRS和无人机结合来改善空地通信网络和物联网共生无线电通信系统的性能，通过将IRS与无人机的结合，可以扩大地面物联网通信的覆盖范围，从而提高物联网设备的各种服务质量要求。具体来说，有学者考虑了移动无人机集成IRS和地面设备组成的下行链路单输入单输出通信系统，通过联合设计无人机的轨迹和调整无人机上的IRS的相移，获得最大的平均可达速率，并利用连续凸近似(SCA)方法获得最佳无人机轨迹。然而，受多种约束条件限制联合优化问题求解是非常棘手的，在现有研究中常常使用凸优化理论对其进行求解，但对于爆炸性的数据，通常会因为复杂的数学公式和数值优化而造成计算时间长等问题甚至无法求解。

此外，由于IRS具有实现空间索引调制技术的天然优势，在无人机辅助IRS的通信系统中，常常使用IRS反射元件的开/关状态来调制无人机或近端传感器设备的被动信息，与发射端主动传输协作形成良好的主被动传输效果，以实现地面设备与无人机构成的主被动传输系统。然而，由于开/关状态的激活模式总有一部分IRS元件处于关闭状态，无法使得IRS固有的大尺度孔径增益达到最大化，导致地面设备的主动信息误码率性能下降。除了利用IRS实现空间调制外，现有研究还通过改变入射信号的相位来实现基于IRS相位调制的被动传输，其中地面设备的主动信息和无人机的被动信息在接收机共同检测。调制星座点可以通过相位和振幅灵活地分配给主动信息和被动信息以满足主被动传输系统中不同的传输需求，然而共生星座点的设计使得主动信息与被动信息相互影响较为严重，一方的性能下降将会使另一方性能随之降低。

发明内容