[发明专利]一种基于元强化学习的卫星物联网在线资源联合分配方法

说明书

一种基于元强化学习的卫星物联网在线资源联合分配方法，属于卫星通信领域。建立上行链路信道与功率资源联合分配模型；将上行链路资源联合分配问题建模为MDP过程；通过元强化学习方法训练在线信道选择与功率分配模型参数；每当新部署的LEO卫星发射升空，将训练得到的元强化学习参数分发给此LEO卫星；各LEO卫星微调Q值网络至收敛，利用迁移到本地真实太空环境的深度强化学习模型参数进行在线信道与功率资源联合分配。本发明借助元学习训练具有较强泛化能力的模型参数，有助于提高LEO星座实际部署中的星上收敛速度，降低训练所需计算资源开销的同时，减少了训练所需与实际系统的交互次数，延长了LEO卫星的正常服务时间。

技术领域

本发明属于卫星通信领域，涉及一种基于元强化学习的卫星物联网上行链路资源联合分配方法。

背景技术

随着智能家居、数字医疗、车联网等技术的发展，物联网产业迅速发展扩大，应用越发普及，全球范围内的万物无缝互联需求日益凸显。但依托于地面网络的物联网，受限于基站部署的地理环境限制，难以为分散偏远地区或非地面区域的数据采集、灾害监测、野生动物跟踪等物联网终端提供数据传输服务。得益于卫星的广域覆盖能力，卫星物联网正日益受到研究者的关注。卫星物联网资源分配问题需解决以下难点：

(1)大规模终端连接。与地面物联网相比，卫星物联网覆盖范围更广，需要支持大规模终端连接。且各类终端的数据传输突发性强，使网络需要服务的终端数量动态变化。

(2)终端能量有限。与传统用户终端相比，位于偏远地区的卫星物联网终端通常由太阳能电池供电，电池有额定循环次数，因而其寿命与数据传输平均能耗成反比。因此，在物联网终端的功率控制问题中，需要平衡能耗和传输效果之间的关系。

(3)动态性强。卫星物联网大多基于LEO星座，拓扑、链路和节点状态动态时变。且信道质量对天气条件敏感，存在较大范围的波动。因此，动态变化且难以预测的信道质量给资源分配带来挑战。

现有基于建模优化的资源分配方法在应对上述挑战方面面临以下几点不足：

(1)传统的建模优化机制要求对无线环境有完整了解，通常基于特定的信道模型假设，或使用准确的全局CSI作为算法的已知条件。对于信道建模类方法，当真实世界的信道由于干扰或天气变化而与预先定义的信道模型不同时，其资源分配方案性能可能会严重下降；对于假设已知信道质量的方法，由于卫星网络中时延较大，链路中断时有发生，准确完整的实时信道状态数据难以获得。

(2)卫星物联网的大规模特性将导致资源分配这一非凸优化问题日趋复杂；元启发式方法等多数非凸优化方法需要多轮迭代，占用星上宝贵的计算资源，且实时性差。

(3)传统优化机制只考虑当前时刻，在网络状态动态变化的过程中，一旦环境变化，就需要重新建模、迭代优化，建模和计算代价高。

深度强化学习(Deep Reinforcement Learning，DRL)作为一种不依赖事先精确建模的序列决策方法，可以在动态信道质量不断变化的情况下进行实时调整，并优化序列决策的长期收益，因而被认为是应对卫星物理网中资源分配技术挑战的有效途径。但采用深度强化学习的卫星网络资源分配方法存在如下缺点：

(1)卫星物联网上行链路需要对终端的信道和发送功率进行联合优化，而现有基于深度强化学习的卫星物联网资源分配方法仅关注其中频谱或功率分配的单一问题，难以达到最优效果。

(2)现有方法对实际部署问题考虑较少。若在地面进行训练，地面仿真环境与真实太空环境之间的差异将导致算法准确率下降；若完全在星上训练，则大规模LEO星座中，各卫星分别训练各自模型，计算代价高，且在算法训练收敛这一段冷启动时间，LEO卫星无法正常进行物联网数据传输服务，存在巨大资源浪费。

(3)现有基于深度强化学习的卫星网络资源分配方法状态特征往往关注用户地理位置信息，包含上下文信息较少，且组织较为稀疏，导致状态特征维度高，神经网络参数较多，而所能感知信息却有限。